JP7135472B2 - 表示制御装置、表示制御方法及び表示制御プログラム - Google Patents

表示制御装置、表示制御方法及び表示制御プログラム Download PDF

Info

Publication number
JP7135472B2
JP7135472B2 JP2018111360A JP2018111360A JP7135472B2 JP 7135472 B2 JP7135472 B2 JP 7135472B2 JP 2018111360 A JP2018111360 A JP 2018111360A JP 2018111360 A JP2018111360 A JP 2018111360A JP 7135472 B2 JP7135472 B2 JP 7135472B2
Authority
JP
Japan
Prior art keywords
image
display
display control
user
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018111360A
Other languages
English (en)
Other versions
JP2019213617A (ja
Inventor
利彦 大塚
高弘 冨田
奈都美 浜岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2018111360A priority Critical patent/JP7135472B2/ja
Priority to US16/430,495 priority patent/US11029830B2/en
Priority to CN201910497042.3A priority patent/CN110575001B/zh
Publication of JP2019213617A publication Critical patent/JP2019213617A/ja
Application granted granted Critical
Publication of JP7135472B2 publication Critical patent/JP7135472B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D42/00—Hand, pocket, or shaving mirrors
    • A45D42/08—Shaving mirrors
    • A45D42/10—Shaving mirrors illuminated
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D42/00—Hand, pocket, or shaving mirrors
    • A45D42/08—Shaving mirrors
    • A45D42/16—Shaving mirrors with other suspending or supporting means
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1656—Details related to functional adaptations of the enclosure, e.g. to provide protection against EMI, shock, water, or to host detachable peripherals like a mouse or removable expansions units like PCMCIA cards, or to provide access to internal components for maintenance or to removable storage supports like CDs or DVDs, or to mechanically mount accessories
    • G06F1/166—Details related to functional adaptations of the enclosure, e.g. to provide protection against EMI, shock, water, or to host detachable peripherals like a mouse or removable expansions units like PCMCIA cards, or to provide access to internal components for maintenance or to removable storage supports like CDs or DVDs, or to mechanically mount accessories related to integrated arrangements for adjusting the position of the main body with respect to the supporting surface, e.g. legs for adjusting the tilt angle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675—Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G06F1/1681—Details related solely to hinges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Closed-Circuit Television Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、表示制御装置、表示制御方法及び表示制御プログラムに関する。
近年、カメラで撮像したユーザの撮像画像や鏡に反射したユーザの鏡像等のユーザの実像に対して、所定の情報を重畳して表示する表示制御装置が知られている（例えば、特許文献１参照）。
特開２００３－１５３７３９号公報
ところで、上記特許文献１の所定の情報は、実際の像ではなく、予め生成された画像データや、演算に基づいてリアルタイムに生成されるＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）等の人為的な画像である。そのため、上述したように実際の像と所定の情報とを重畳して表示した場合、ユーザからしてみれば、見た目上のギャップがありユーザが視認するのに適さない表示となる場合があった。
本発明は、このような状況に鑑みてなされたものであり、より適切に所定の情報の表示を行うことを目的とする。
上記目的を達成するため、本発明に係る表示制御装置は、表示手段と、対象物の実像を取得する取得手段と、前記対象物の代替画像を記憶する記憶手段と、補助情報を前記記憶手段が記憶する代替画像に合成して合成画像を生成する合成手段と、ユーザの習熟度を管理する管理手段と、前記取得手段により取得された対象物の実像と前記合成手段により生成された合成画像とを所定のタイミングで切り替えて表示するとともに、前記取得手段により取得された対象物の実像と前記合成手段により生成された合成画像との間でメイン表示にする方を前記習熟度に基づいて切り替える表示制御手段と、を備えることを特徴とする。
また、本発明に係る表示制御方法は、表示手段を備えた電子機器が実行する表示制御方法であって、対象物の実像を取得する取得処理と、補助情報を所定の記憶手段が記憶する代替画像に合成して合成画像を生成する合成処理と、前記取得処理で取得された対象物の実像と前記合成処理で生成された合成画像とを所定のタイミングで切り替えて表示するとともに、前記取得処理で取得された対象物の実像と前記合成処理で生成された合成画像との間でメイン表示にする方を所定の管理手段が管理するユーザの習熟度に基づいて切り替える表示制御処理と、を含むことを特徴とする。
また、本発明に係る表示制御プログラムは、表示手段を備えた電子機器のコンピュータを、対象物の実像を取得する取得手段、補助情報を所定の記憶手段が記憶する代替画像に合成して合成画像を生成する合成手段、前記取得手段により取得された対象物の実像と前記合成手段により生成された合成画像とを所定のタイミングで切り替えて表示するとともに、前記取得手段により取得された対象物の実像と前記合成手段により生成された合成画像との間でメイン表示にする方を所定の管理手段が管理するユーザの習熟度に基づいて切り替える表示制御手段、として機能させることを特徴とする。
本発明によれば、より適切に所定の情報の表示を行うことができる。
本発明の一実施形態に係る表示制御システムの構成を示す構成図である。 本発明の一実施形態に係る表示制御装置の前面の外観構成を示す構成図である。 本発明の一実施形態に係る表示制御装置の側面の外観構成を示す構成図である。 本発明の一実施形態に係る表示制御装置のハードウェアの構成を示すブロック図である。 本発明の一実施形態に係る表示制御装置の機能的構成のうち、合成表示処理を実行するための機能的構成を示す機能ブロック図である。 本発明の一実施形態に係る表示制御装置が実行する合成表示処理の流れを説明する第１のフローチャートである。 本発明の一実施形態に係る表示制御装置が実行する合成表示処理の流れを説明する第２のフローチャートである。 本発明の一実施形態に係る表示制御装置が実行する合成表示処理での表示の一例を示す模式図である。 本発明の一実施形態に係る表示制御装置が実行する合成表示処理での表示の他の一例を示す模式図である。 本発明の一実施形態に係る表示制御装置が実行する合成表示処理での表示の他の一例を示す模式図である。
以下、本発明の実施形態について、図面を用いて説明する。
［実施形態の概略］
本発明の実施形態に係る表示制御装置１は、ユーザが携帯可能な自立式の鏡として構成される。そして、表示制御装置１は、鏡を視認するユーザに対して、時間、若しくはユーザの指示に応じてガイダンス内容が変更される一連のガイダンスを行うための補助情報を、所定のタイミングで切り換えながら表示することにより、ユーザに対するガイダンスを実現する。
この場合に、表示制御装置１は、補助情報を、ユーザの実際の画像の代替となる、代替画像に合成することにより合成画像を生成する。また、表示制御装置１は、一連のガイダンスを行う場合に、この合成画像と、ユーザの実際の画像とを、それぞれ表示画面上に切り換えながら表示する。
このような表示制御装置１によれば、人為的な像である補助情報の画像と、同様に人為的な像である代替画像とを合成することから、ユーザに対して、見た目上のギャップがない、ユーザが視認するのに適した一体感のある表示を提供することができる。
つまり、表示制御装置１によれば、より適切な表示を行うことができる。
［システム構成］
図１は、本実施形態に係る表示制御装置１が含まれる表示制御システムＳの全体構成を示すブロック図である。図１に示すように、表示制御システムＳは、複数の表示制御装置１、ネットワーク２及びサーバ群３を含む。
表示制御装置１の台数には、特に制限はなく、ｎ台（ｎは、任意の自然数）の表示制御装置１が表示システム１に含まれていてよい。なお、以下の説明において、ｎ台の表示制御装置１を特に区別することなく説明する場合には、符号の末尾のアルファベットを省略し、単に「表示制御装置１」と称する。
表示制御装置１は、上述したとおり、見た目上のギャップがない、ユーザが視認するのに適した一体感のある表示を行うことにより、ガイダンスを行う装置である。表示制御装置１は、ネットワーク２を介して、サーバ群３に含まれる各サーバと、相互に通信可能に接続されている。
ネットワーク２は、例えば、インターネットや、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、携帯電話網の何れか又はこれらを組み合わせたネットワークにより実現される。
サーバ群３には、表示制御装置１と協働する各種のサーバが含まれる。例えば、サーバ群３には、表示制御装置１のユーザを認証するための認証サーバが含まれる。また、例えば、サーバ群３には、表示制御装置１の機能を実現するためのアプリケーションソフトウェアを配信するアプリケーション配信サーバが含まれる。更に、例えば、サーバ群３には、ユーザに関する設定情報やユーザによる表示制御装置１の利用履歴等を含んだ情報である、ユーザのプロファイル情報を格納する測定データ格納サーバが含まれる。
ただし、これは一例に過ぎず、他の機能を有するサーバがサーバ群３に含まれていてもよい。また、サーバ群３に含まれる複数のサーバを、それぞれ別個のサーバ装置で実現してもよく、単一のサーバ装置にて実現するようにしてもよい。
［外観構成］
図２は、本発明の一実施形態に係る表示制御装置１の前面の外観構成を示す構成図である。また、図３は、表示制御装置１の側面の外観構成を示す構成図である。表示制御装置１の前面の大きさは、例えば、国際規格であるＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）２１６で規定されるＡ４サイズに形成される。
図２及び図３に示すように、表示制御装置１は、本体部３０と、脚部３１と、ヒンジ部３２を含んで構成される。本体部３０は、表示部１８や、図４を参照して後述するその他のハードウェアを含む部分である。また、脚部３１とヒンジ部３２は、表示制御装置１を自立させるための部材である。脚部３１は、ヒンジ部３２によって本体部３０に対して回動可能に接合される。
図３（Ａ）に示すように、ユーザは、表示制御装置１を携帯する際に、本体部３０の側面と、脚部３１の側面とを揃えて、嵩張らない形状として持ち運ぶことができる。一方で、図３（Ｂ）に示すように、ユーザは、表示制御装置１を机等に設置して利用する際には、ヒンジ部３２を中心点として脚部３１を回動させることにより、表示制御装置１を自立して設置することができる。なお、表示制御装置１を自立可能とするために、ヒンジ部３２は、脚部３１が所定の角度を保った状態で保持するための機構を有する。
本体部３０は、上述したように表示部１８を含む。表示部１８は、各種の情報を表示することにより、これら各種の情報をユーザに対して表示する部分である。表示部１８は、例えば、撮像部１６が被写体として撮像したユーザの実像であるユーザ画像（図中のユーザ画像５１に相当）や、ユーザの代替となるアバターの画像であるアバター画像（図中のアバター画像５２に相当）や、ガイダンスを行うための補助情報であるガイド画像（図中のガイド画像５３に相当）、ユーザの生体情報を示す生体情報画像（図中の生体情報画像５４に相当）を表示する。また、この場合に、表示部１８では、アバター画像にガイド画像が合成され、重畳して表示される。
ユーザは、表示部１８を視認することにより、これらの多様な情報を一度に把握することができる。なお、このような表示部１８の表示が、見た目上のギャップがない、ユーザが視認するのに適した一体感のあるものである点については、上述した通りである。
図２に示すように、表示制御装置１は、外観構成として、更に、撮像部１６、入力部１７及び表示部１８を備えている。
撮像部１６は、表示制御装置１の利用時に、表示部１８に正対するユーザを被写体として撮像する部分である。撮像部１６は、表示部１８に正対するユーザの顔画像を撮像可能な位置に配置される。例えば、撮像部１６は、図中に示すように、本体部３０の前面であって、表示部１８の上部に配置される。
入力部１７は、ユーザによる操作入力を受け付ける部分である。入力部１７は、例えば複数のボタンにより実現される。図中では、一例として、小顔エステ、笑顔トレーニング、及び生体情報の記録等の各種のモードへの切り換えボタンや、表示制御装置１の電源のオン／オフの切り替えを行うためのボタンを図示する。
以上、表示制御装置１の外観構造について説明をした。ただし、この構造は一例に過ぎず、表示制御装置１の外観構造は、この例に限定されない。
例えば、表示制御装置１は、表示部１８に正対するユーザを照らすために発光する発光部を更に備えていてもよい。発光部が、照度や色成分を調整してユーザを照らすことにより、表示制御装置１は、照明付きの鏡として機能する。発光部の数は複数であってもよい。また、発光部は、表示部１８の上部や下部に配置されてもよく、表示部１８の周辺全体に配置されてもよい。
また、例えば、入力部１７の数や配置が変更されてもよい。また、例えば、表示部１８の一部がタッチパネルとして構成され、入力部１７と表示部１８とが一体に構成されてもよい。
［ハードウェア構成］
図４は、表示制御装置１のハードウェアの構成を示すブロック図である。
図４に示すように、表示制御装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、表示部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６と、入力部１７と、表示部１８と、記憶部１９と、通信部２０と、ドライブ２１とが接続されている。
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
撮像部１６にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号は、ＣＰＵ１１等に適宜供給される。
入力部１７は、各種ボタンやマイク等で構成され、ユーザの指示操作や指示音声に応じて各種情報を入力する。
表示部１８は、液晶ディスプレイ等で構成され、ＣＰＵ１１が出力する画像データに対応する画像を表示する。
記憶部１９は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリで構成され、各種データを記憶する。
通信部２０は、ＣＰＵ１１が、ネットワーク２を介して他の装置（例えば、サーバ群３に含まれる各サーバ）との間で通信を行うための通信制御を行う。
ドライブ２１は、リムーバブルメディア１００を装着可能なインターフェースにより構成される。ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア１００が適宜装着される。リムーバブルメディア１００には、後述の合成表示処理を実行するためのプログラムや、画像データ等の各種データが格納される。ドライブ２１によってリムーバブルメディア１００から読み出されたプログラムや、画像データ等の各種のデータは、必要に応じて記憶部１９にインストールされる。
なお、表示制御装置１は、上述したハードウェアに加えて、他のハードウェアを更に備えていてもよい。例えば、表示制御装置１は、ランプやスピーカあるいは振動用モータ等で構成され、光や音声あるいはバイブレーション信号を出力する出力部等を更に備えていてもよい。
［機能的構成］
図５は、表示制御装置１の機能的構成のうち、合成表示処理を実行するための機能的構成を示す機能ブロック図である。
合成表示処理とは、表示制御装置１が、補助情報を、代替画像に合成することにより合成画像を生成し、一連のガイダンスを行う場合に、この合成画像と、ユーザの実際の画像とを、それぞれ表示画面上に切り換えながら表示する一連の処理である。
合成表示処理が実行される場合、図５に示すように、ＣＰＵ１１において、設定処理部１１１と、取得解析部１１２と、タイミング制御部１１３と、画像合成部１１４と、表示制御部１１５とが機能する。
また、記憶部１９の一領域には、ガイダンス情報記憶部１９１と、アバター情報記憶部１９２とが設定される。
ガイダンス情報記憶部１９１には、合成表示処理におけるガイダンスに関する各種のデータが格納される。例えば、ガイダンス情報記憶部１９１には、合成表示処理において表示されるガイダンス情報を生成するための、ガイド画像のデータ、テキストデータ、及び音データ等のコンテンツデータが格納される。また、ガイダンス情報記憶部１９１には、一連のガイダンスにおける複数のガイダンス情報の表示の順番や、表示するガイダンス情報を次のガイダンス情報へ切り替えるための条件や、各種ユーザインタフェースを生成するためのデータ等も格納される。更に、ガイダンス情報記憶部１９１には、合成表示処理に関して生成されたユーザのプロファイル情報が格納される。なお、ガイド画像は、予め生成された画像データであってもよく、演算に基づいてリアルタイムに生成されるＣＧ等であってもよい。また、各データは一連のガイダンスを実現する際に読み出しやすいように、各ガイダンス単位で、一つのライブラリとして格納されてもよい。
アバター情報記憶部１９２には、ユーザの実像の代替となるアバターに関する各種のデータが格納される。例えば、アバター情報記憶部１９２には、合成表示処理において表示されるアバター画像を生成するための、アバター画像のデータや、ガイダンス等において何れのアバター画像を表示するかの条件等が格納される。なお、アバター画像は、予め生成された画像データであってもよく、演算に基づいてリアルタイムに生成されるＣＧ等であってもよい。アバター画像は、例えば、人間や動物を模したキャラクターの画像である。また、アバター画像は、任意の数だけ用意されていてよく、ユーザの属性（例えば、ユーザの性別や年齢や嗜好）や、ガイダンスの内容に応じて適宜選択されてもよい。また、アバター画像は、キャラクター等のアニメーション表示を実現するための、連続した画像群であってもよい。また、各データは一連のガイダンスを実現する際に読み出しやすいように、各ガイダンス単位で、一つのライブラリとして格納されてもよい。
なお、上述したようなガイダンス情報記憶部１９１やアバター情報記憶部１９２に格納される各情報は、記憶部１９にのみ格納されていてもよいが、ドライブ２１によってリムーバブルメディア１００に適宜格納されるようにしてもよい。更に、ガイダンス情報記憶部１９１やアバター情報記憶部１９２に格納される各情報は、サーバ群３に含まれる測定データ格納サーバ等に適宜格納されるようにしてもよい。
また、以下に説明する各機能ブロックでは、合成表示処理を行う前提として座標情報が設定されている。座標情報は、例えば、撮像部１６において撮像された画像についての座標系である撮像座標系、及び表示部１８の表示面についての座標系である表示部座標系といった各座標系を定義するための情報、並びに、各座標系における座標を他の座標系における座標に変換するための対応関係を示す情報が含まれる。以下に説明する各機能ブロックは、これらの各座標系における座標の対応関係に基づいて、各座標系における座標を変換することにより合成表示処理を行うことができる。これら各座標系の対応関係は、例えば、表示制御装置１の製造時に、各座標系を定義し、撮像部１６の光軸の方向やズーム率の調整を伴うキャリブレーションを行うことにより設定される。
設定処理部１１１は、合成表示処理に関する設定等の制御を行う部分である。設定処理部１１１は、例えば、サーバ群３に含まれるアプリケーション配信サーバから、合成表示処理を行うためのアプリケーションソフトウェアを取得して、このアプリケーションソフトウェアを動作させる。また、設定処理部１１１は、例えば、サーバ群３に含まれる認証サーバと通信を行うことにより、合成表示処理を行うユーザを認証する。更に設定処理部１１１は、例えば、サーバ群３に含まれる測定データ格納サーバと通信を行うことにより、合成表示処理におけるユーザのプロファイル情報を更新する。
また、設定処理部１１１は、合成表示処理を行うためのアプリケーションソフトウェアに基づいて、ガイダンスを行うためのメニューを表示する。例えば、ガイダンスに基づいて、「小顔エステ」や「笑顔マッサージ」や「生体情報の測定」や「メイク（化粧）」を行う等の、ガイダンスの内容を選択するための選択肢を含んだメニューを表示する。また、設定処理部１１１は、メニューを参照したユーザから、入力部１７等を介して、何れかのガイダンス内容の選択を受け付ける。例えば、「小顔エステ」の選択を受け付ける。これにより、小顔エステに関するガイダンスのために、合成表示処理が行われる。なお、小顔エステとは、例えば、リンパを流すマッサージにより顔のむくみを減少させるリンパマッサージ等を、ユーザがユーザ自身の顔等に対して行うことをいう。
取得解析部１１２は、合成表示処理において、撮像部１６による撮像の被写体となったユーザの画像を取得すると共に、取得したユーザの画像を解析し、解析結果に基づいてユーザに関する情報（以下、「被写体情報」と称する。）を取得する部分である。被写体情報とは、例えば、ユーザの顔等における各部位の位置を示す座標や、ユーザの顔等における各部位の色や、ユーザの生体情報等である。
被写体情報の取得のために、取得解析部１１２は、撮像部１６が撮像した、被写体としてユーザを含む画像を解析して、画像に含まれるユーザの状態を検出する。
例えば、取得解析部１１２は、ユーザの顔を含む顔画像に対して、輪郭や部位のパターンマッチングや肌色識別等のフェイストラッキングに関する処理を行うことで、顔の輪郭や眼の位置や肌の領域を認識し、額、頬、顎、及び首等の所定の部位領域の検出を行う。そして、取得解析部１１２は、この検出した部位領域それぞれの、座標やユーザの肌の色や、ユーザの顔の角度（すなわち、ユーザの顔の向き）や、ユーザの視線の方向や、ユーザの口角の開き具合といった状態を検出する。
また、取得解析部１１２は、他にも、実際にユーザに触れることなく、ユーザに対しては非接触で生体情報（バイタルデータと呼ばれることもある。）の計測を行うようにしてもよい。この場合、上記の検出された検出された所定の領域は、非接触で生体情報を取得するための関心領域（ＲＯＩ：Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）に相当する。
そして、取得解析部１１２は、例えば、この関心領域における皮下の血液中ヘモグロビンが吸収する緑色信号に基づいて、心拍周波数近傍の成分を分析することにより計測を行う。取得解析部１１２が計測する生体情報は、例えば、脈拍、脈波、及び血流等である。
また、取得解析部１１２は、１つの関心領域の画像を対象として計測を行ってもよいが、複数の関心領域の画像を対象として計測を行ってもよい。この場合、取得解析部１１２は、脈拍の遅延がわかる離れた２点（例えば頬と額、又は、額か頬と手のひら等）の関心領域を対象として測定を行なうことにより、例えば、脈波伝播速度や、脈波伝播速度と相関する血圧変動を測定することができる。
また、取得解析部１１２は、測定した生体情報に対してノイズ除去等を行うことにより、平均化処理を施すようにしてもよい。
更に、取得解析部１１２は、映像脈波の解析、脈拍数や脈波波形や脈波の揺らぎを測定することで、ストレス度（例えば、心拍間隔時系列（ＦＦＩ）や脈波振幅時系列（ＰＡ）に基づいたＬＦ／ＨＦ指標や、ローレンツプロット指標等など）を算出して取得するようにしてもよい。
なお、取得解析部１１２による生体情報の測定は、例えば、下記の参考文献に記載の技術を利用することにより行うことができる。
＜参考文献＞
東北大学 サイバーサイエンスセンター 先端情報技術研究部、東北大学 革新的イノベーション研究機構、“血行状態モニタリング装置「魔法の鏡」の開発に成功”、［online］、平成２８年９月２７日、［平成２９年１２月１５日検索］、インターネット＜URL：http://www.tohoku.ac.jp/japanese/newimg/pressimg/tohokuuniv-press20160927_01web.pdf＞
取得解析部１１２は、このようにして取得した、ユーザの顔の向きや、生体情報といった被写体情報を、後述のタイミング制御部１１３等に対して出力する。
タイミング制御部１１３は、一連のガイダンスにおいて、ガイド画像や、アバター画像や、これらを合成した合成画像等の各画像を表示したり、音データ等を出力したりするタイミング（以下、「ガイダンスタイミング」と称する。）を制御する部分である。タイミング制御部１１３は、ガイダンス情報記憶部１９１に格納されている情報（例えば、上述した、一連のガイダンスにおける複数のガイダンス情報の表示の順番や、表示するガイダンス情報を次のガイダンス情報へ切り替えるための条件）と、アバター情報記憶部１９２に格納されている情報（例えば、上述した、ガイダンス等において何れのアバター画像を表示するかの条件）と、その他の情報（例えば、経過時間や被写体情報）に基づいて、ガイダンスタイミングを制御する。
例えば、表示を行う条件が時間経過に関するものであれば、タイミング制御部１１３は、時間経過した場合に、表示を行うべきガイダンスタイミングであると判定し、ガイダンスタイミングが到来した旨を、後述の表示制御部１１５等に対して出力する。また、例えば、表示を行う条件が被写体情報の変化に関するもの（例えば、ユーザの顔の向きが所定の向きに変化した、生体情報が所定の値に変化した等）であれば、タイミング制御部１１３は、被写体情報が変化した場合に、表示を行うべきガイダンスタイミングであると判定し、ガイダンスタイミングが到来した旨を、後述の表示制御部１１５等に対して出力する。
この場合に、例えば、ユーザの顔の向きが横向きになった場合に、横向きのアバター画像（又は、このアバター画像を含む合成画像）を表示するガイダンスタイミングであると判定し、横向きのアバター画像（又は、このアバター画像を含む合成画像）を表示するガイダンスタイミングが到来した旨を、後述の表示制御部１１５等に対して出力するようにしてもよい。このようにすれば、表示制御部１１５は、ユーザの顔の動きと一致するようにアバター画像（又は、このアバター画像を含む合成画像）を表示することができる。
また、例えば、マッサージによりユーザの血流や脈拍が所定の値となった場合に、次のマッサージに関するアバター画像（又は、このアバター画像を含む合成画像）を表示するガイダンスタイミングであると判定し、次のマッサージに関するアバター画像（又は、このアバター画像を含む合成画像）を表示するガイダンスタイミングが到来した旨を、後述の表示制御部１１５等に対して出力するようにしてもよい。このようにすれば、表示制御部１１５は、マッサージの効果が十分に出て、血流や脈拍が変化した場合に、次のマッサージに関するアバター画像（又は、このアバター画像を含む合成画像）を表示することができる。
画像合成部１１４は、ガイダンス情報記憶部１９１に格納されているガイド画像と、アバター情報記憶部１９２に格納されているアバター画像とを合成することにより、アバター画像にガイド画像が合成された画像（以下、「合成画像」と称する。）を生成する部分である。画像合成部１１４は、ガイダンス情報記憶部１９１からガイダンスにおいて表示すべきガイド画像を取得する。また、画像合成部１１４は、アバター情報記憶部１９２からガイダンスにおいて表示すべきアバター画像を取得する。
そして、画像合成部１１４は、取得したアバター画像とガイド画像とを合成することにより、合成画像を生成する。合成は、例えば、アバター画像とガイド画像を重畳させたり、アバター画像とガイド画像を並べたりすることにより行うことができる。
具体的に、画像合成部１１４は、例えば、アバター画像の顔等の所定の部位領域に、ガイド画像が重畳するように合成画像を生成する。例えば、マッサージについてのガイダンスを行う場合に、マッサージの際の手の動きを示す矢印のガイド画像が、マッサージを行う対象の部位領域に重畳するように合成画像を生成する。
画像合成部１１４は、このようにして生成した合成画像を、後述の表示制御部１１５等に対して出力する。
表示制御部１１５は、ガイダンス情報を表示する部分である。表示制御部１１５は、上述したタイミング制御部１１３が制御するガイダンスタイミングに基づいて、合成画像や、その他のガイダンス情報を切り替えて表示部１８に表示をさせることによって、一連のガイダンスを実現する。
そのために、表示制御部１１５は、画像合成部１１４から、合成画像の入力を受け付ける。また、表示制御部１１５は、ガイダンス情報記憶部１９１からガイダンス情報を読み込む。
そして、表示制御部１１５は、タイミング制御部１１３が制御するガイダンスタイミングに基づいて、読み込んだガイダンス情報に定められた順番で、読み込んだガイダンス情報に定められた位置に、合成画像や、ユーザ画像や、その他の画像を切換表示する。
ユーザは、表示制御部１１５が表示する、合成画像を参照することにより、マッサージを行う部位領域や、マッサージの方向等を、分かりやすく視認することができる。ここで、この合成画像は、人為的な像であるガイド画像と、同様に人為的な像であるアバター画像とを合成したものである。つまり、本実施形態では、ユーザに対して、見た目上のギャップがない、ユーザが視認するのに適した一体感のある表示を提供することができる。
更に、表示制御部１１５は、この場合に、ユーザ自身の実像であるユーザ画像を更に表示することもできる。これにより、ユーザは実像と合成画像とを見比べながら、より分かりやすく所定の処置（例えば、マッサージ等）を行うことができる。
また、表示制御部１１５は、ユーザの顔等の実像であるユーザ画像と重複しない領域に（すなわち、ユーザの顔と重畳しない領域に）、一連のガイダンスにおいてユーザが向くべき方向や、マッサージの方法を画像やテキストで自動配置し表示するようにしてもよい。他にも、表示制御部１１５は、例えば、ユーザの顔等の実像であるユーザ画像と重複しない領域に（すなわち、ユーザの顔と重畳しない領域に）、生体情報を表示するための波形データや必要な文字、画像情報を自動配置し表示するようにしてもよい。
このようなユーザ画像との表示や、ユーザ画像とは重畳しない表示を行う場合、例えば、取得解析部１１２は、フェイストラッキングにより、撮像部１６が撮像したユーザの所定の部位領域を検出する。そして、上述した各座標系の対応関係に基づいて、検出した部位領域の撮像座標系における座標に対応する、表示部座標系の座標を取得する。そして、表示制御部１１５は、表示部１８の取得解析部１１２が取得した表示部座標系の座標に、所定の画像を表示することにより、表示を行うことができる。
また、表示制御部１１５は、これらの表示を組み合わせるようにしてもよい。例えば、表示制御部１１５は、所定の画像はユーザの顔等の実像であるユーザ画像と重複する領域に重畳して表示し、マッサージの内容を示すテキストはユーザの顔等の実像であるユーザ画像と重複しない領域に表示するようにしてもよい。
表示制御部１１５が、このような情報をリアルタイムに表示することで、一連のガイダンスを、ユーザに伝わりやすく、適切に行うことができる。
なお、表示制御部１１５は、表示に加えて、他の方法でガイダンス情報を出力するようにしてもよい。例えば、表示制御部１１５は、音データを含んだガイダンス情報を読み出し、読み出したガイダンス情報から生成される音声や音楽をスピーカから出力してもよい。また、他にも、例えば、表示制御部１１５は、発光部による発光状態を変化させるようにしてもよい。
［合成表示処理］
図６及び図７は、図５の機能的構成を有する図１の表示制御装置１が実行する合成表示処理の流れを説明するフローチャートである。
合成表示処理は、例えば、表示制御装置１の電源投入と共に開始される。
図６に示すように、ステップＳ１１において、設定処理部１１１は、初期設定を行う。例えば、設定処理部１１１は、サーバ群３に含まれるアプリケーション配信サーバから、合成表示処理を行うためのアプリケーションソフトウェアを取得して、このアプリケーションソフトウェアを動作させる。また、設定処理部１１１は、アプリケーションソフトウェアの動作に伴い、撮像部１６等の各ハードウェアに対して、アプリケーションソフトウェアに応じた設定を行う。そして、設定処理部１１１は、撮像部１６による撮像を開始させる。
ステップＳ１２において、表示制御部１１５は、ユーザの顔位置を合わせるためのガイド画像として顔位置ラインを表示する。この顔位置ラインの表示画面の一例を図８に示す。図８（Ａ）にガイド画像５３ａとして示すように、顔位置ラインが表示される。また、ユーザ画像５１ａも表示される。ユーザは、これらの表示を参照することにより、自身の顔の位置がガイド画像５３ａの輪郭内であってガイド画像５３ａの中央と一致するように自身の顔を移動する。
ステップＳ１３において、取得解析部１１２は、ユーザから顔位置ラインと、ユーザの顔とが一致した旨の通知を受け付けたか否かを判定する。このユーザからの通知は、例えば、顔位置ラインと、ユーザの顔とが一致したと判断したユーザが、入力部１７に含まれる所定のボタンを押下することにより行われる。ユーザからの通知がなかった場合、ステップＳ１３においてＮｏと判定され、処理はステップＳ１２に戻り、処理は繰り返される。一方で、ユーザからの通知があった場合、ステップＳ１３においてＹｅｓと判定され、処理はステップＳ１４に進む。
ステップＳ１４において、取得解析部１１２は、顔認識を試み、顔認識に成功したか否かを判定する。顔認識に成功した場合は、ステップＳ１４においてＹｅｓと判定され、処理はステップＳ１５に進む。一方で、顔認識に失敗した場合は、ステップＳ１４においてＮｏと判定され、処理はステップＳ１９に進む。
ステップＳ１９において、表示制御部１１５は、図８（Ｂ）に一例として示すように、ユーザの顔の認識不可である旨のメッセージを表示する。そして、処理は、ステップＳ１２に戻る。この場合に、次回の顔認識が成功するように「枠の中に顔を合わせてください。」等の、ユーザに対して顔の移動を促すテキスト等を表示するとよい。
ステップＳ１５において、設定処理部１１１は、撮像部１６が撮像したユーザの画像における顔の大きさに合わせて、表示部１８にユーザの顔を表示する際の顔の大きさ、位置を調整（すなわち、キャリブレーション）する。そして、設定処理部１１１は、調整結果を示す調整データを、記憶部１９に記憶する。以後の、表示制御部１１５によるユーザ画像の表示は、この調整データに基づいて行われる。
ステップＳ１６において、表示制御部１１５は、図８（Ｃ）に一例として示すように、ユーザの顔の認識が完了した旨のメッセージを表示する。なお、ガイド画像５３ａ、ガイド画像５３ｂ、及びガイド画像５３ｃのそれぞれにおいて、現在の状況がユーザに伝わるように、顔位置ラインの表示態様（例えば、色）を異ならせるようにしてもよい。
ステップＳ１７において、表示制御部１１５は、ユーザから何れかのガイダンスメニューを選択するための、メニュー画面を表示する。なお、以下の説明では、ガイダンスメニューは４つであると想定して説明をするが、これは説明のための例示に過ぎず、ガイダンスメニューの数は特に限定されない。
ステップＳ１８において、設定処理部１１１は、ユーザから何れかのガイダンスメニューの選択を受け付けたか否かを判定する。選択を受け付けた場合は、ステップＳ１８においてＹｅｓと判定され、処理はステップＳ２０に進む。一方で、選択を受け付けない場合には、ステップＳ１８においてＮｏと判定され、ステップＳ１８の判定は所定の周期で繰り返される。
ステップＳ２０において、ステップＳ１９にて選択されたガイダンスメニューが笑顔トレーニングであるか否かを判定する。笑顔トレーニングである場合は、ステップＳ２０においてＹｅｓと判定され、処理はステップＳ２１に進む。笑顔トレーニングでない場合は、ステップＳ２０においてＮｏと判定され、処理はステップＳ２２に進む。
ステップＳ２１において、タイミング制御部１１３、画像合成部１１４、及び表示制御部１１５のそれぞれは、笑顔トレーニング用の一連のガイダンスを行うために必要なデータを、ガイダンス情報記憶部１９１及びアバター情報記憶部１９２から読み込む。
ステップＳ２２において、ステップＳ１９にて選択されたガイダンスメニューがフェイシャルエステであるか否かを判定する。フェイシャルエステである場合は、ステップＳ２２においてＹｅｓと判定され、処理はステップＳ２３に進む。フェイシャルエステでない場合は、ステップＳ２２においてＮｏと判定され、処理はステップＳ２４に進む。
ステップＳ２３において、タイミング制御部１１３、画像合成部１１４、及び表示制御部１１５のそれぞれは、フェイシャルエステ用の一連のガイダンスを行うために必要なデータを、ガイダンス情報記憶部１９１及びアバター情報記憶部１９２から読み込む。
ステップＳ２４において、ステップＳ１９にて選択されたガイダンスメニューがリラクゼーション（ツボ押し及び深呼吸）であるか否かを判定する。リラクゼーションである場合は、ステップＳ２４においてＹｅｓと判定され、処理はステップＳ２５に進む。リラクゼーションでない場合は、ステップＳ２４においてＮｏと判定され、処理はステップＳ２６に進む。
ステップＳ２５において、タイミング制御部１１３、画像合成部１１４、及び表示制御部１１５のそれぞれは、リラクゼーション用の一連のガイダンスを行うために必要なデータを、ガイダンス情報記憶部１９１及びアバター情報記憶部１９２から読み込む。
ステップＳ２６において、タイミング制御部１１３、画像合成部１１４、及び表示制御部１１５のそれぞれは、笑顔トレーニング、フェイシャルエステ、及びリラクゼーション以外のメニュー（例えば、化粧）用の、一連のガイダンスを行うために必要なデータを、ガイダンス情報記憶部１９１及びアバター情報記憶部１９２から読み込む。
ステップＳ２７において、タイミング制御部１１３は、上述のステップＳ２１、ステップＳ２３、ステップＳ２５、及びステップＳ２６の何れかのステップにおいて読み込んだデータや、取得情報解析部１１２から入力された被写体情報等に基づいて、ガイダンスタイミングを制御する。
ステップＳ２８において、画像合成部１１４は、上述のステップＳ２１、ステップＳ２３、ステップＳ２５、及びステップＳ２６の何れかのステップにおいて読み込んだデータに基づいて、合成画像を生成する。
ステップＳ２９において、表示制御部１１５は、タイミング制御部１１３が制御したガイダンスタイミングや、上述のステップＳ２１、ステップＳ２３、ステップＳ２５、及びステップＳ２６の何れかのステップにおいて読み込んだデータや、画像合成部１１４が生成した合成画像に基づいて、一連のガイダンスを実現するための、ガイダンス表示を行う。このガイダンス表示の一例を図９に示す。
例えば、ステップＳ２０で笑顔トレーニングが選択された場合には、表示制御部１１５は、図９（Ａ）に示すようなガイダンス表示を行う。具体的には、表示部１８の下部に、アバター画像５２ｄ及びガイド画像５３ｄとして示すように、笑顔のアバター画像と笑顔を作るためのガイド画像とを重畳した合成画像を表示する。ユーザは、ユーザ画像５１ｄとして示すように、この合成画像を参照しながら笑顔を作るトレーニングを行う。また、この場合に、ガイド画像の一つとして、例えば、「そのまま１０秒キープ！」等の笑顔を維持することを促すテキストや、１０秒をカウントダウンするようなアイコンを表示するようにしてもよい。
また、他にも、例えば、ステップＳ２２で笑顔トレーニングが選択された場合には、表示制御部１１５は、図９（Ｂ）に示すようなガイダンス表示を行う。具体的には、表示部１８の下部に、アバター画像５２ｅ及びガイド画像５３ｅとして示すように、アバター画像とフェイシャルエステにおけるマッサージでの手の動きを示すガイド画像とを重畳した合成画像を表示する。ユーザは、この合成画像を参照しながらフェイシャルエステにおけるマッサージを行う。
また、他にも、例えば、ステップＳ２３で笑顔トレーニングが選択された場合には、表示制御部１１５は、第１のガイダンスタイミングに、図９（Ｃ）に示すようなガイダンス表示を行う。具体的には、表示部１８の下部に、アバター画像５２ｆ及びガイド画像５３ｆとして示すように、アバター画像とツボ押しを行う対象となる第１のツボの位置を示すガイド画像とを重畳した合成画像を表示する。ユーザは、この合成画像を参照しながら第１のツボに対してツボ押しを行う。また、表示制御部１１５は、後述のステップＳ３２においてＮｏとなった場合に再度行われる、第２のガイダンスタイミングに、図９（Ｄ）に示すようなガイダンス表示を行う。具体的には、表示部１８の下部に、アバター画像５２ｇ及びガイド画像５３ｇとして示すように、アバター画像とツボ押しを行う対象となる第２のツボの位置を示すガイド画像とを重畳した合成画像を表示する。ユーザ画像５１ｇとして示すように第１のツボを押しているユーザは、この合成画像を参照しながら第２のツボ押しを行う。このように、本実施形態では、一連のガイダンスにおいて表示すべき画像を、ガイダンスタイミングに応じて、適切に切り替えて表示することができる。
ステップＳ３０において、表示制御部１１５は、表示モードを変更するか否かを判定する。表示モードの変更は、ユーザの操作に応じて行われてもよいし、一連のガイダンスにおける、何れかのガイダンスタイミングに応じて行われてもよい。表示モードを変更する場合は、ステップＳ３０においてＹｅｓと判定され、処理はステップＳ３１に進む。一方で、表示モードを変更しない場合は、ステップＳ３１においてＮｏと判定され、処理はステップＳ３２に進む。
ステップＳ３１において、表示制御部１１５は、変更後の表示モードに対応した表示を行う。この表示モードの変更に伴う表示の切り替わりの一例を図１０に示す。本実施形態では、例えば、ユーザ画像をメインとして表示すると共に、アバター画像とガイド画像とを合成した合成画像をサブとして表示する第１の表示モードと、ユーザ画像をサブとして表示すると共に、アバター画像とガイド画像とを合成した合成画像をメインとして表示する第２の表示モードとを用意する。
第１の表示モードで表示を行う場合、例えば、図１０（Ａ）に示すように、ユーザ画像５１ｈをメインとして画面中央に大きなサイズで表示し、合成画像であるアバター画像５２ｈとガイド画像５３ｈをサブとして画面下部等にメインよりも小さなサイズで表示する。一方で、第２の表示モードで表示を行う場合、例えば、図１０（Ｂ）に示すように、合成画像であるアバター画像５２ｉとガイド画像５３ｉをメインとして画面中央に大きなサイズで表示し、ユーザ画像５１ｉをサブとして画面下部等にメインよりも小さなサイズで表示する。
このように、表示モードを複数設け、ガイダンスタイミングやユーザの操作に応じて表示方法を切り替えることにより、一連のガイダンスの内容やユーザの要望に沿った、多様な表示を行うことができる。
ステップＳ３２において、タイミング制御部１１３は、一連のガイダンスを終了するか否かを、ガイダンスタイミングに基づいて判定する。一連のガイダンスを未だ終了しない場合には、ステップＳ３２においてＮｏと判定され、処理はステップＳ２７に戻り、再度処理が繰り返される。この繰り返される処理において、例えば、図９（Ｃ）の表示から、図９（Ｄ）の表示に切り替えて表示がされる点は上述の通りである。
一方で、一連のガイダンスを終了する場合は、ステップＳ３２においてＹｅｓと判定され、処理はステップＳ１８に戻る。そして、新たなガイダンスメニューの選択があった場合に、上述したステップＳ１９以降の処理が繰り返される。
なお、次回以降に行われる合成表示処理では、ステップＳ１１におけるアプリケーションの取得等の処理を省略してよい。
以上説明した合成表示処理によれば、一連のガイダンスにおいて表示すべき画像を、ガイダンスタイミングに応じて、適切に切り替えて表示することができる。例えば、合成画像を、適切に切り替えて表示することができる。ここで、この合成画像は、人為的な像であるガイド画像と、同様に人為的な像であるアバター画像とを合成したものである。つまり、以上説明した合成表示処理によれば、ユーザに対して、見た目上のギャップがない、ユーザが視認するのに適した一体感のある表示を提供することができる。
また、以上説明した合成表示処理によれば、ユーザ自身の実像であるユーザ画像を更に表示することもできる。これにより、ユーザは実像と合成画像とを見比べながら、より分かりやすくマッサージ等を行うことができる。
更に、以上説明した合成表示処理によれば、複数の表示モードを用意しておき、ガイダンスタイミングやユーザの操作に応じて表示方法を切り替えることにより、一連のガイダンスの内容やユーザの要望に沿った、多様な表示を行うことができる。
例えば、ユーザが不慣れなガイダンスメニューの場合には、マッサージ等の方法を示す合成画像をメイン表示とし、ユーザが慣れてきた場合には、ユーザの状態を示すユーザ画像をメイン表示とするようなことができる。このようにする場合、例えば、タイミング制御部１１３が、ユーザの習熟度を管理する。具体的には、タイミング制御部１１３は、記憶部１９にユーザの習熟度の値を記憶させる。そして、タイミング制御部１１３は、ユーザによる、ガイダンスメニューの実行回数が増加するたびに、そのガイダンスメニューにおけるユーザの習熟度の値を高くする。あるいは、タイミング制御部１１３は、ユーザによる、表示制御装置１の使用時間の積算値といった、他の基準に基づいて、習熟度の値を高くする。
そして、表示制御部１１５は、ユーザが不慣れな場合であって、習熟度の値が、予め設定されている所定の閾値未満の場合には、マッサージ等の方法を示す合成画像をメイン表示とする。一方で、表示制御部１１５は、ユーザが慣れた場合であって、習熟度の値が、予め設定されている所定の閾値以上の場合には、ユーザの状態を示すユーザ画像をメイン表示とする。なお、習熟度は、ガイダンスメニュー毎に管理されてもよいが、各ガイダンスメニューを区別することなく共通の習熟度として管理されてもよい。また、ユーザの操作に応じて、習熟度の値を修正できるようにしてもよい。
以上のように構成される表示制御装置１は、表示部１８と、取得解析部１１２と、アバター情報記憶部１９２と、画像合成部１１４と、表示制御部１１５と、を備える。
取得解析部１１２は、対象物の実像を取得する。
アバター情報記憶部１９２は、対象物の代替画像を記憶する。
画像合成部１１４は、補助情報をアバター情報記憶部１９２が記憶する代替画像に合成して合成画像を生成する。
表示制御部１１５は、取得解析部１１２により取得された対象物の実像と、画像合成部１１４により生成された合成画像とを、タイミング制御部１１３により制御される所定のタイミングに基づいて、切替て表示する。
このように、人為的な像である補助情報の画像と、同様に人為的な像である代替画像とを合成することから、ユーザに対して、見た目上のギャップがない、ユーザが視認するのに適した一体感のある表示を提供することができる。また、このような合成画像の表示と、実像（例えば、カメラで撮像したユーザの撮像画像や鏡に反射したユーザの鏡像等）と切替て表示することができる。
表示制御装置１は、対象物を撮像する撮像部１６を更に備え、取得解析部１１２は、対象物の実画像として、撮像部１６により撮像された対象物の実画像を取得する。
これにより、実際に撮像されたユーザの実画像を表示することができる。また、撮像時にリアルタイムに表示をすることができる。
表示制御装置１は、タイミング制御部１１３を更に備える。
タイミング制御部１１３は、補助情報を表示部１８に表示する所定のタイミングを制御する。
表示制御部１１５は、取得解析部１１２により取得された対象物の実画像と、画像合成部１１４により生成された合成画像とを、タイミング制御部１１３により制御される所定のタイミングに基づいて、表示部１８の表示を切替て表示する。
これにより、合成画像と、対象物の実画像とを切替て表示することができる。
タイミング制御部１１３は、取得解析部１１２により取得された対象物の実画像における対象物が所定の状態となった場合に、所定のタイミングを制御する。
これにより、例えば、ユーザが横を向いたことや、所定時間所定の処置を行ったこと等を条件として、補助情報や合成画像の表示を切り替えることができる。
画像合成部１１４は、取得解析部１１２により取得された対象物の実画像における対象物が所定の状態となった場合に、合成画像の生成に用いる代替画像を選択する。
これにより、例えば、ユーザが横を向いた場合に、同じく横を向いたアバター画像を含む合成画像を表示することができる。これにより、ユーザに対して、アバター画像との一体感を感じさせることができる。
所定の状態には、当該対象物が自身に対して施している所定の処置に関する状態を含む。
これにより、例えば、所定の処置であるマッサージやツボ押し等に関する状態に基づいて、所定のタイミングの制御や、合成画像に用いる代替画像の選択を行うことができる。
所定の状態には、当該対象物の生体情報に関する状態を含む。
これにより、生体情報の変化に基づいて、所定のタイミングの制御や、合成画像に用いる代替画像の選択を行うことができる。
タイミング制御部１１３は、所定のタイミングを制御して、複数の合成画像を切替えて表示部１８に表示させることにより、一連のガイダンスを行う。
これにより、複数の合成画像を用いた、順を追ったガイダンスを実現することができる。
タイミング制御部１１３は、一連のガイダンスを行うための複数の補助情報に基づいて、所定のタイミングを制御する。
これにより、複数の補助情報それぞれを表示すべきタイミングで、複数の補助情報（又は、この補助情報を含む合成画像）を表示することができる。
表示制御部１１５は、所定の条件に基づいて、取得解析部１１２により取得された対象物の実画像と画像合成部１１４により生成された合成画像との、表示部１８での表示態様を入れ替える。
これにより、例えば、何れの画像をメイン表示するのか、それともサブ表示をするのかといった表示態様を入れ替えることができる。
所定の条件とは、所定のタイミングに関しての条件であり、
表示態様を入れ替えるとは、取得解析部１１２により取得された対象物の実画像と画像合成部１１４により生成された合成画像との、表示部１８での表示の大きさ及び表示位置の何れか又は双方を入れ替えることである。
これにより、所定のタイミングに応じた表示の大きさや位置の入れ替えを実現することができる。
タイミング制御部１１３は、ユーザの習熟度を管理し、
所定の条件とは、習熟度に関しての条件である。
これにより、ユーザの習熟度に応じた表示の大きさや位置の入れ替えを実現することができる。
表示部１８の表示面の前面側に配置された鏡部を更に備え、
鏡部は、取得解析部１１２として対象物の鏡像を取得する、
これにより、ハーフミラー等を用いた表示を行う装置においても、ユーザに対して、見た目上のギャップがない、ユーザが視認するのに適した一体感のある表示を提供することができる。
［変形例］
本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、上述の実施形態を以下の変形例のように変形してもよい。
＜ハーフミラーを用いた変形例＞
上述した表示部１８と、反射面を有する鏡部とを組み合わせた構造の装置によって表示制御装置１を実現するようにしてもよい。
この場合、鏡部は、光学的特性として、透過特性と反射特性の双方を有するハーフミラーにより実現する。そして、鏡部は、表示部１８よりも前面のユーザが視認する方向に重畳した配置する。
このような配置により、ユーザは、例えば、撮像部１６により撮像されたユーザ画像ではなく、鏡部により反射された自身の顔と、表示部１８に表示されると共に鏡部を透過した各種の情報（例えば、合成画像）とを同時に視認することができる。つまり、上述の実施形態では、ユーザの実像として撮像部１６が被写体として撮像したユーザ画像を視認させることとしていたが、本変形例では、ユーザの実像として鏡部により反射されたユーザの鏡像を視認させこととする。
このようにしても、上述した実施形態と同様の効果を奏することができる。
＜他の変形例＞
例えば、上述の実施形態において、表示制御装置１と、サーバ群３に含まれる各サーバとが協働することを想定していたが、各サーバの機能を表示制御装置１に追加して、表示制御装置１のみで全ての処理を行うようにしてもよい。
また、上述の実施形態では、本発明が適用される表示制御装置１は、携帯可能な自立式の鏡に組み込まれた電子機器を例として説明したが、特にこれに限定されない。
例えば、本発明は、姿見等の大型の鏡に組み込まれた電子機器や、据え置き型の洗面化粧台に組み込まれた電子機器や、浴室に設置される鏡形状の電子機器に適用可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図５の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が表示制御装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図５の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図４のリムーバブルメディア１００により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア１００は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ，Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図４のＲＯＭ１２や、図４、５の記憶部１９に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
表示手段と、
対象物の実画像を取得する取得手段と、
前記対象物の代替画像を記憶する記憶手段と、
補助情報を前記記憶手段が記憶する代替画像に合成して合成画像を生成する合成手段と、
前記取得手段により取得された対象物の実像と、前記合成手段により生成された合成画像とを、所定のタイミングに基づいて、切替て表示する表示制御手段と、
を備えることを特徴とする表示制御装置。
［付記２］
前記対象物を撮像する撮像手段を更に備え、
前記取得手段は、前記対象物の実画像として、前記撮像手段により撮像された対象物の実画像を取得する、
ことを特徴とする付記１に記載の表示制御装置。
［付記３］
前記補助情報を前記表示手段に表示する所定のタイミングを制御するタイミング制御手段を備え、
前記表示制御手段は、前記取得手段により取得された対象物の実画像と、前記合成手段により生成された合成画像とを、前記タイミング制御手段により制御される所定のタイミングに基づいて、前記表示手段の表示を切替て表示する、
ことを特徴とする付記１又は２に記載の表示制御装置。
［付記４］
前記タイミング制御手段は、前記取得手段により取得された対象物の実画像における対象物が所定の状態となった場合に、前記所定のタイミングを制御する、
ことを特徴とする付記３に記載の表示制御装置。
［付記５］
前記所定の状態には、当該対象物が自身に対して施している所定の処置に関する状態を含む、
ことを特徴とする付記３又は４に記載の表示制御装置。
［付記６］
前記所定の状態には、当該対象物の生体情報に関する状態を含む、
ことを特徴とする付記３又は４に記載の表示制御装置。
［付記７］
前記タイミング制御手段は、前記所定のタイミングを制御して、複数の前記合成画像を切替えて前記表示手段に表示させることにより、一連のガイダンスを行う、
ことを特徴とする付記３乃至６の何れか１に記載の表示制御装置。
［付記８］
前記タイミング制御手段は、一連のガイダンスを行うための複数の前記補助情報に基づいて、前記所定のタイミングを制御する、
ことを特徴とする付記３乃至７の何れか１に記載の表示制御装置。
［付記９］
画像を選択する選択手段を更に備え、
前記選択手段は、前記取得手段により取得された対象物の実画像における対象物が所定の状態となった場合に、前記合成画像の生成に用いる代替画像を選択する、
ことを特徴とする付記３乃至８の何れか１に記載の表示制御装置。
［付記１０］
前記表示制御手段は、所定の条件に基づいて、前記取得手段により取得された対象物の実画像と前記合成手段により生成された合成画像との、前記表示手段での表示態様を入れ替える、
ことを特徴とする付記１乃至９の何れか１に記載の表示制御装置。
［付記１１］
前記所定の条件とは、前記所定のタイミングに関しての条件であり、
前記表示態様を入れ替えるとは、前記取得手段により取得された対象物の実画像と前記合成手段により生成された合成画像との、前記表示手段での表示の大きさ及び表示位置の何れか又は双方を入れ替えることである、
ことを特徴とする付記１０に記載の表示制御装置。
［付記１２］
ユーザの習熟度を管理する管理手段を更に備え、
前記所定の条件とは、前記習熟度に関しての条件である。
ことを特徴とする付記１０に記載の表示制御装置。
［付記１３］
前記表示手段の表示面の前面側に配置された反射手段を更に備え、
前記反射手段は、前記取得手段として対象物の鏡像を取得する、
ことを特徴とする付記１乃至１２の何れか１に記載の表示制御装置。
［付記１４］
表示手段を備えたコンピュータが行う表示制御方法であって、
対象物の実画像を取得する取得ステップと、
前記対象物の代替画像を記憶する記憶ステップと、
補助情報を前記表示手段に表示する所定のタイミングを制御するタイミング制御ステップと、
前記補助情報を前記記憶ステップが記憶する代替画像に合成することにより合成画像を生成する合成ステップと、
前記取得ステップにより取得された対象物の実像と、前記合成ステップにより生成された合成画像とを、前記タイミング制御ステップにより制御される所定のタイミングに基づいて、切替て表示する表示制御ステップと、
を備えることを特徴とする表示制御方法。
［付記１５］
表示手段を備えたコンピュータに、
対象物の実画像を取得する取得機能と、
前記対象物の代替画像を記憶する記憶機能と、
補助情報を前記表示手段に表示する所定のタイミングを制御するタイミング制御機能と、
前記補助情報を前記記憶機能が記憶する代替画像に合成することにより合成画像を生成する合成機能と、
前記取得機能により取得された対象物の実像と、前記合成機能により生成された合成画像とを、前記タイミング制御機能により制御される所定のタイミングに基づいて、切替て表示する表示制御機能と、
を実現することを特徴とする表示制御プログラム。
１・・・表示制御装置，２・・・ネットワーク，３・・・サーバ群，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・表示部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３０・・・本体部，３１・・・脚部，３２・・・ヒンジ部，１００・・・リムーバブルメディア，１１１・・・設定処理部，１１２・・・取得解析部，１１３・・・タイミング制御部，１１４・・・画像合成部，１１５・・・表示制御部，２０１・・・ガイダンス情報記憶部，Ｓ・・・表示システム

Claims (4)

  1. 表示手段と、
    対象物の実像を取得する取得手段と、
    前記対象物の代替画像を記憶する記憶手段と、
    補助情報を前記記憶手段が記憶する代替画像に合成して合成画像を生成する合成手段と、
    ユーザの習熟度を管理する管理手段と、
    前記取得手段により取得された対象物の実像と前記合成手段により生成された合成画像とを所定のタイミングで切り替えて表示するとともに、前記取得手段により取得された対象物の実像と前記合成手段により生成された合成画像との間でメイン表示にする方を前記習熟度に基づいて切り替える表示制御手段と、
    を備えることを特徴とする表示制御装置。
  2. 前記対象物を撮像する撮像手段を更に備え、
    前記取得手段は、前記対象物の実画像として、前記撮像手段により撮像された対象物の実画像を取得する、
    ことを特徴とする請求項１に記載の表示制御装置。
  3. 表示手段を備えた電子機器が実行する表示制御方法であって、
    対象物の実像を取得する取得処理と、
    補助情報を所定の記憶手段が記憶する代替画像に合成して合成画像を生成する合成処理と、
    前記取得処理で取得された対象物の実像と前記合成処理で生成された合成画像とを所定のタイミングで切り替えて表示するとともに、前記取得処理で取得された対象物の実像と前記合成処理で生成された合成画像との間でメイン表示にする方を所定の管理手段が管理するユーザの習熟度に基づいて切り替える表示制御処理と、
    を含むことを特徴とする表示制御方法。
  4. 表示手段を備えた電子機器のコンピュータを、
    対象物の実像を取得する取得手段、
    補助情報を所定の記憶手段が記憶する代替画像に合成して合成画像を生成する合成手段、
    前記取得手段により取得された対象物の実像と前記合成手段により生成された合成画像とを所定のタイミングで切り替えて表示するとともに、前記取得手段により取得された対象物の実像と前記合成手段により生成された合成画像との間でメイン表示にする方を所定の管理手段が管理するユーザの習熟度に基づいて切り替える表示制御手段、
    として機能させることを特徴とする表示制御プログラム。
JP2018111360A 2018-06-11 2018-06-11 表示制御装置、表示制御方法及び表示制御プログラム Active JP7135472B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018111360A JP7135472B2 (ja) 2018-06-11 2018-06-11 表示制御装置、表示制御方法及び表示制御プログラム
US16/430,495 US11029830B2 (en) 2018-06-11 2019-06-04 Display control apparatus, display controlling method and display control program for providing guidance using a generated image
CN201910497042.3A CN110575001B (zh) 2018-06-11 2019-06-10 显示控制装置、显示控制方法及存储显示控制程序的介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018111360A JP7135472B2 (ja) 2018-06-11 2018-06-11 表示制御装置、表示制御方法及び表示制御プログラム

Publications (2)

Publication Number Publication Date
JP2019213617A JP2019213617A (ja) 2019-12-19
JP7135472B2 true JP7135472B2 (ja) 2022-09-13

Family

ID=68763887

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018111360A Active JP7135472B2 (ja) 2018-06-11 2018-06-11 表示制御装置、表示制御方法及び表示制御プログラム

Country Status (3)

Country Link
US (1) US11029830B2 (ja)
JP (1) JP7135472B2 (ja)
CN (1) CN110575001B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11775164B2 (en) * 2018-10-03 2023-10-03 Sony Corporation Information processing device, information processing method, and program
CN109411052A (zh) * 2018-11-26 2019-03-01 Oppo广东移动通信有限公司 电子装置、信息推送方法及相关产品
CN110827378B (zh) * 2019-10-31 2023-06-09 北京字节跳动网络技术有限公司 虚拟形象的生成方法、装置、终端及存储介质
CN114728847A (zh) 2019-11-26 2022-07-08 Ａｇｃ株式会社 带电热线的玻璃板
US20220358198A1 (en) * 2020-03-18 2022-11-10 Nec Corporation Program, mobile terminal, authentication processing apparatus, image transmission method, and authentication processing method
CN112749634A (zh) * 2020-12-28 2021-05-04 广州星际悦动股份有限公司 基于美容设备的控制方法、装置以及电子设备
US11908243B2 (en) * 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
WO2022232968A1 (en) * 2021-05-04 2022-11-10 Nutricia Early Life Nutrition (Shanghai) Co.,Ltd. A massage coaching method, device and application thereof
WO2024034537A1 (ja) * 2022-08-10 2024-02-15 株式会社 資生堂 情報処理装置、情報処理方法、及び、プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003153739A (ja) 2001-09-05 2003-05-27 Fuji Photo Film Co Ltd 化粧鏡装置及び化粧方法
JP2012181688A (ja) 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
WO2017148959A1 (en) 2016-02-29 2017-09-08 Virtual Beautician Limited Image processing system and method

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8953909B2 (en) * 2006-01-21 2015-02-10 Elizabeth T. Guckenberger System, method, and computer software code for mimic training
US20080165388A1 (en) * 2007-01-04 2008-07-10 Bertrand Serlet Automatic Content Creation and Processing
US20100306685A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation User movement feedback via on-screen avatars
US9283429B2 (en) * 2010-11-05 2016-03-15 Nike, Inc. Method and system for automated personal training
US9566526B2 (en) * 2010-12-31 2017-02-14 Dazzletag Entertainment Limited Methods and apparatus for gaming
US9600934B2 (en) * 2011-06-30 2017-03-21 Orange Augmented-reality range-of-motion therapy system and method of operation thereof
JP2013026776A (ja) * 2011-07-20 2013-02-04 Sony Corp 画像処理装置および方法
US9811639B2 (en) * 2011-11-07 2017-11-07 Nike, Inc. User interface and fitness meters for remote joint workout session
TWM449588U (zh) * 2012-09-28 2013-04-01 zhi-zhen Chen 互動式多媒體復健訓練系統
KR101992437B1 (ko) * 2013-02-21 2019-06-24 주식회사 케이티 이동 로봇의 학습 보조 방법 및 이에 이용되는 이동 로봇 장치
JP6072893B2 (ja) * 2013-03-08 2017-02-01 富士フイルム株式会社 脈波伝播速度の測定方法、その測定方法を用いた測定システムの作動方法及び脈波伝播速度の測定システム並びに撮像装置
WO2015108702A1 (en) * 2014-01-14 2015-07-23 Zsolutionz, LLC Cloud-based initiation of customized exercise routine
WO2015148676A1 (en) * 2014-03-26 2015-10-01 Reflexion Health, Inc. Systems and methods for teaching and instructing in a virtual world including multiple views
EP2975841A1 (en) * 2014-07-17 2016-01-20 HTC Corporation Method for performing a video talk enhancement function and an electric device having the same
KR102322034B1 (ko) * 2014-09-26 2021-11-04 삼성전자주식회사 전환 거울을 구비한 장치의 이미지 디스플레이 방법 및 그 장치
TWM502206U (zh) * 2015-02-10 2015-06-01 Univ Chung Hua 數位輔助上妝裝置
TWI630579B (zh) * 2015-12-27 2018-07-21 華碩電腦股份有限公司 電子裝置、電腦可讀取記錄媒體及臉部影像顯示方法
WO2018000227A1 (zh) * 2016-06-29 2018-01-04 北京小米移动软件有限公司 视频直播方法及装置
CN206178531U (zh) * 2016-07-07 2017-05-17 深圳市锐吉电子科技有限公司 一种镜面设备及镜面系统
US10699461B2 (en) * 2016-12-20 2020-06-30 Sony Interactive Entertainment LLC Telepresence of multiple users in interactive virtual space
CN107198391A (zh) * 2017-06-30 2017-09-26 广东工业大学 一种上妆指导美颜镜子
JP7200139B2 (ja) * 2017-07-13 2023-01-06 株式会社 資生堂 仮想顔化粧の除去、高速顔検出およびランドマーク追跡
CN107551521B (zh) * 2017-08-17 2020-05-08 广州视源电子科技股份有限公司 健身指导方法及装置、智能设备及存储介质
CN109493310A (zh) * 2017-09-08 2019-03-19 丽宝大数据股份有限公司 身体信息分析装置及其手部肌肤分析方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003153739A (ja) 2001-09-05 2003-05-27 Fuji Photo Film Co Ltd 化粧鏡装置及び化粧方法
JP2012181688A (ja) 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
WO2017148959A1 (en) 2016-02-29 2017-09-08 Virtual Beautician Limited Image processing system and method

Also Published As

Publication number Publication date
US20190377481A1 (en) 2019-12-12
JP2019213617A (ja) 2019-12-19
CN110575001A (zh) 2019-12-17
US11029830B2 (en) 2021-06-08
CN110575001B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
JP7135472B2 (ja) 表示制御装置、表示制御方法及び表示制御プログラム
EP2929477B1 (en) Physiological cue processing
IL264217A (en) A system control technique for creating a virtual character through the use of a user's emotional states
WO2016076140A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20160037074A (ko) 전환 거울을 구비한 장치의 이미지 디스플레이 방법 및 그 장치
JP7115458B2 (ja) 電子装置、電子装置の作動方法及び電子装置の制御プログラム
US11800989B2 (en) Electronic device, control method for the electronic device, and storage medium
JP7139638B2 (ja) 報知装置、報知方法及び報知プログラム
JP7230409B2 (ja) 判定装置、判定方法及び判定プログラム
JP7135466B2 (ja) 表示装置、表示方法及び表示プログラム
US10915617B2 (en) Image processing apparatus, image processing method, and recording medium
JP2022052451A (ja) 電子装置、電子装置の制御方法及び電子装置の制御プログラム
JP2020057153A (ja) 表示制御装置、表示制御方法及び表示制御プログラム
JP7415318B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7279121B2 (ja) ユーザ行動支援装置、方法およびプログラム
JP7419720B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP7238835B2 (ja) 電子装置、電子装置の制御方法及び電子装置の制御プログラム
JP2023057107A (ja) 報知装置、報知方法及びプログラム
KR20190136652A (ko) 스마트 미러 디스플레이 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220815

R150 Certificate of patent or registration of utility model

Ref document number: 7135472

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150