WO2014024362A1 - 電子機器、方法およびプログラム - Google Patents

電子機器、方法およびプログラム Download PDF

Info

Publication number
WO2014024362A1
WO2014024362A1 PCT/JP2013/003092 JP2013003092W WO2014024362A1 WO 2014024362 A1 WO2014024362 A1 WO 2014024362A1 JP 2013003092 W JP2013003092 W JP 2013003092W WO 2014024362 A1 WO2014024362 A1 WO 2014024362A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
user
display
electronic device
control unit
Prior art date
Application number
PCT/JP2013/003092
Other languages
English (en)
French (fr)
Inventor
佐藤　琢也
大樹 伊藤
江島　聡
美奈子 中畑
宏行 無州
知子 菅原
政一 関口
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2012173879A external-priority patent/JP2014033398A/ja
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to CN201380034704.4A priority Critical patent/CN104395875A/zh
Priority to JP2014529254A priority patent/JPWO2014024362A1/ja
Publication of WO2014024362A1 publication Critical patent/WO2014024362A1/ja
Priority to US14/616,084 priority patent/US20150253873A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1698—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a sending/receiving arrangement to establish a cordless communication link, e.g. radio or infrared link, integrated cellular phone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G09B19/0038—Sports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an electronic device, a method, and a program.
  • Patent Document 1 JP 2010-87569 A
  • the conventional sight-seeing apparatus does not mention the ease of operation and is not easy to use.
  • an input unit that inputs information on the first member that the user has obtained, and a control unit that controls display of the display unit based on the information input by the input unit, Provided electronic device, method and program provided.
  • an input unit that inputs information related to the first member that the user has obtained, and a prediction unit that predicts the movement of the user based on the information input by the input unit.
  • a prediction unit that predicts the movement of the user based on the information input by the input unit.
  • FIG. 1 is a block diagram of a display system 1 according to an embodiment. It is a figure which shows the outline
  • the processing flow of the control part 19 of the display apparatus 10 which concerns on this embodiment is shown.
  • (A) shows a state in which the user holds the portable device 20 in the vertical position and is directly facing the display device 10
  • (B) shows the state in which the user holds the portable device 20 in the vertical position.
  • the state where the back is turned is shown.
  • (A) shows a state where the user turns his back to the display device 10 and then faces the display device 10 again, and
  • a state of facing the device 10 is shown.
  • (A) shows a state where the user is facing sideways with respect to the display device 10, and (B) shows a state where the user is facing diagonally forward with respect to the display device 10.
  • (A) shows the example which divided and displayed the whole image of a user's face, and the image of a mouth
  • (B) shows the example which divided and displayed the whole image of a user's face, and the image of both eyes.
  • FIG. 14A shows a state where one enlarged image is displayed
  • FIG. 14B shows a state where a plurality of enlarged images are displayed in time series.
  • FIG. 1 is a block diagram of a display system 1 according to the present embodiment
  • FIG. 2 is a diagram showing an overview of the display system 1, which will be described below with reference to FIGS.
  • the display system 1 is used as an appearance device for a user to confirm his / her appearance, for example.
  • the display system 1 looks at the user using the display device 10 and the portable device 20 that is held and used by the user.
  • the display device 10 and the portable device 20 can transmit and receive data by human body communication and wireless communication.
  • the display device 10 and the portable device 20 normally function as devices independent of each other, but operate in cooperation with each other when pairing (processing for authenticating each other device) via human body communication is performed.
  • Human body communication is communication using the human body, which is a conductor, as a communication medium.
  • a weak current is passed through the human body, the current is modulated to transmit information, and the electric field induced on the surface of the human body is modulated.
  • any of the current method and the electric field method can be used, but here, the case where the electric field method is used will be described.
  • the display device 10 and the mobile device 20 may be replaced with non-contact communication such as FeliCa (registered trademark), proximity wireless transfer technology such as transfer jet (registered trademark), or near field communication (NFC) instead of human body communication. Pairing may be performed using proximity communication.
  • the display device 10 is, for example, a device having a display area whose diagonal length is greater than 20 inches.
  • the display device 10 includes an imaging unit 11, a drive unit 12, a display unit 13, an image adjustment unit 14, a memory unit 15, an electrode unit 16, a human body communication unit 17, a wireless communication unit 18, and a control unit. 19.
  • the imaging unit 11 includes a lens group and an imaging device such as a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) sensor.
  • the imaging unit 11 is provided on an upper portion of the display device 10 and the like, images a user's face (or the whole body, etc.) located in front of the display device 10, and outputs a moving image, a still image, and the like.
  • the imaging unit 11 may include a zoom lens as a part of the lenses of the lens group.
  • the driving unit 12 drives the imaging unit 11 in a tilt direction (vertical swing) and a pan direction (horizontal swing) to change the shooting direction of the imaging unit 11.
  • a DC motor, a voice coil motor, a linear motor, or the like can be applied to the driving unit 12.
  • the display unit 13 includes a display 13a (for example, a liquid crystal display device) that displays an image captured by the imaging unit 11 on a display surface, and a half mirror 13b that is provided on the display surface of the display 13a.
  • the half mirror 13b is formed by vapor-depositing a metal film on a transparent plate such as glass or attaching a semi-transmissive film to the transparent plate, and reflects light from one side. Transmits light from the side opposite to the side.
  • the display unit 13 causes the user located in front of the display device 10 to reflect and visually recognize the mirror image of the user together with the image captured by the imaging unit 11. Can do.
  • the display unit 13 performs a display indicating that human body communication is established and a display indicating that wireless communication is established, thereby enabling the user to visually recognize the communication status.
  • the display unit 13 may display the image captured by the imaging unit 11 without having the half mirror 13b.
  • the display unit 13 divides the display region to form a region where both a mirror image by the half mirror 13b and a captured image by the imaging unit 11 can be visually recognized, and a region where one of the mirror image and the captured image can be visually recognized. Also good.
  • the image adjustment unit 14 adjusts the image captured by the imaging unit 11 and causes the display unit 13 to display the image. Specifically, the image adjustment unit 14 trims a part of the image captured by the imaging unit 11, enlarges the trimmed image, or moves the trimming position of the image to the display unit 13. Display.
  • the memory unit 15 includes a buffer memory 15a and a non-volatile flash memory 15b.
  • the buffer memory 15a temporarily stores image data picked up by the image pickup unit 11 or is used as a work memory for the image adjustment unit 14.
  • the buffer memory 15a is, for example, a volatile semiconductor memory.
  • the image data designated by the user or the like is transferred to the flash memory 15b, and the transferred image data is stored.
  • the flash memory 15b stores various data such as program data executed by the control unit 19.
  • the electrode unit 16 includes a signal electrode and a ground electrode, and exchanges signals with the portable device 20 through human body communication via the user.
  • the electrode unit 16 is provided on the front surface of the display device 10 so as to be easily touched by the user.
  • the electrode part 16 may be provided in the inside of the housing
  • the ground electrode may be connected to the ground of the circuit board of the display device 10.
  • the human body communication unit 17 includes a transmission / reception unit that is connected to the electrode unit 16 and includes an electric circuit having a band-pass filter.
  • the human body communication unit 17 demodulates an input reception signal to generate reception data or transmit data to be transmitted. It modulates to generate a transmission signal.
  • the human body communication unit 17 transmits / receives information to / from the mobile device 20 through human body communication via the user's human body. For example, the human body communication unit 17 receives the ID of the mobile device 20 or transmits the ID of the display device 10 to the mobile device 20. In addition, the human body communication unit 17 transmits a switching signal for switching to another communication method to the mobile device 20.
  • the wireless communication unit 18 transmits / receives information to / from the mobile device 20 by wireless communication such as wireless LAN (Local Network), BlueTooth (registered trademark), or infrared communication.
  • wireless communication such as wireless LAN (Local Network), BlueTooth (registered trademark), or infrared communication.
  • the wireless communication unit 18 transmits image data or the like stored in the buffer memory 15 a to the mobile device 20.
  • the control unit 19 includes a CPU (Central Processing Unit), the imaging unit 11, the drive unit 12, the display 13a of the display unit 13, the image adjustment unit 14, the memory unit 15 (buffer memory 15a and flash memory 15b), human body communication. It is connected to the unit 17 and the wireless communication unit 18 and controls the entire display device 10. For example, the control unit 19 controls communication processing with the mobile device 20.
  • CPU Central Processing Unit
  • the imaging unit 11 the drive unit 12, the display 13a of the display unit 13, the image adjustment unit 14, the memory unit 15 (buffer memory 15a and flash memory 15b), human body communication. It is connected to the unit 17 and the wireless communication unit 18 and controls the entire display device 10. For example, the control unit 19 controls communication processing with the mobile device 20.
  • the control unit 19 controls communication processing with the mobile device 20.
  • the mobile device 20 is, for example, a device such as a mobile phone, a smartphone, or a tablet computer.
  • the portable device 20 includes a display unit 21, a touch panel 22, a sensor unit 23, a timing unit 24, an imaging unit 25, a microphone 26, a flash memory 27, an electrode unit 28, a human body communication unit 29, and a wireless device.
  • a communication unit 30, a vibration unit 31, and a control unit 32 are provided.
  • the display unit 21 is a liquid crystal display, an organic EL display, or the like, and displays data such as image data and character data under the control of the control unit 32, and displays operation buttons and menus for the user to perform operations. To do.
  • the display unit 21 may perform display indicating that human body communication is established or display indicating that wireless communication is established (for example, icon display). In this case, when the user holds the portable device 20 from the output of the electrode unit 28 described later, or when it is determined that the user can visually recognize the display unit 21 from the output of the posture sensor 23b described later, the communication state is displayed. May be performed. Note that the display area of the display unit 13 of the display device 10 is several tens of inches diagonal, whereas the display area of the display unit 21 is several inches diagonal, compared with the display unit 13 of the display device 10. Small.
  • the touch panel 22 is provided integrally with the display unit 21, and the user operates the virtual operation buttons (for example, the right operation mark 41 ⁇ / b> R and the left operation mark 41 ⁇ / b> L illustrated in FIG. 4) or the menu displayed on the display unit 21.
  • the operation unit accepts the operation input.
  • the touch panel 22 may be any system such as a resistive film system, a surface acoustic wave system, an infrared system, an electromagnetic induction system, or a capacitance system. Note that the operation buttons may be used instead of or in combination with the touch panel 22.
  • the sensor unit 23 includes a GPS (Global Positioning System) module 23a, an attitude sensor 23b, and an orientation sensor 23c.
  • the sensor unit 23 may include a biological sensor that acquires the biological information of the user.
  • the GPS module 23 a detects the position (latitude, longitude) of the mobile device 20. Position information detected by the GPS module 23 a (position information where the user exists) is written into the flash memory 27 by the control unit 32.
  • the attitude sensor 23b is a sensor that detects the attitude of the mobile device 20, and in this embodiment, the angle at which the user holds the mobile device 20, or the user holds the mobile device 20 in either the vertical position or the horizontal position. Detect whether you are doing.
  • the vertical position means a state in which the user holds the display unit 21 of the mobile device 20 as shown in FIG. 2, and the horizontal position is rotated by 90 degrees from the vertical position and will be described later. The state held as shown in FIG.
  • the posture sensor 23b is configured by combining a plurality of sensors that detect a posture in a uniaxial direction by detecting whether or not a small sphere moving due to gravity blocks infrared light of a photo interrupter.
  • the posture sensor 23b may be configured using a triaxial acceleration sensor, a gyro sensor, or the like.
  • the posture sensor 23b may be configured to detect whether the mobile device 20 is in the vertical position or the horizontal position from the position of the user's finger that is in contact with the touch panel 22.
  • the posture sensor 23b may be configured to detect whether the portable device 20 is in the vertical position or the horizontal position from the position of the finger in contact with the electrode provided on almost the entire side surface of the housing. In this case, since the resistance value and the capacitance value of the electrode in contact with the finger are lowered, the posture sensor 23b detects a change in the resistance value or the capacitance value of the electrode and detects the electrode touched by the hand. In addition, when such a posture sensor 23b is provided, the mobile device 20 may cause the electrode with reduced resistance or capacity to function as the electrode unit 28 used for human body communication.
  • the posture information of the mobile device 20 detected by the posture sensor 23b is used for adjusting the orientation of the image displayed on the display unit 21.
  • the azimuth sensor 23c is a sensor for detecting the azimuth, and detects the azimuth from a magnetic field detection value by a biaxial magnetic sensor that detects geomagnetic components in directions orthogonal to each other.
  • the orientation detected by the orientation sensor 23c is the orientation of the user with respect to the display device 10 (for example, the user is facing the display device 10 or the user is behind the display device 10). It is used to determine whether it is facing.
  • the orientation detected by the orientation sensor 23c is displayed as orientation information 40 on the portable device 20, for example, as shown in FIG.
  • Time measuring unit 24 detects the current time or measures the elapsed time of the specified period.
  • the timing unit 24 outputs the detection result and the timing result to the control unit 32.
  • the imaging unit 25 includes a lens group and an imaging element such as a CCD image sensor or a CMOS sensor, images a subject, and outputs a moving image, a still image, and the like.
  • the imaging unit 25 is provided above the same plane as the display unit 21 and can capture a user who uses the portable device 20.
  • the microphone 26 is provided below the same surface as the display unit 21, and mainly acquires the voice uttered by the user.
  • the flash memory 27 is a nonvolatile memory, and stores various data transmitted from the display device 10, detection data of the sensor unit 23, an application program of the portable device 20, and the like.
  • the electrode unit 28 includes a signal electrode and a ground electrode, and exchanges signals with the display device 10 through human body communication via a user.
  • the electrode unit 28 is provided on the side surface or the back surface of the mobile device 20 so as to be easily touched by the user.
  • the electrode unit 28 may be provided inside a housing formed of plastic or resin.
  • the ground electrode may be connected to the ground of the circuit board of the mobile device 20.
  • the human body communication unit 29 includes a transmission / reception unit that is connected to the electrode unit 28 and includes an electric circuit having a band-pass filter.
  • the human body communication unit 29 demodulates an input reception signal to generate reception data or transmit data to be transmitted. It modulates to generate a transmission signal.
  • the human body communication unit 29 transmits the ID of the portable device 20 to the display device 10 and receives the ID of the display device 10. In addition, the human body communication unit 29 receives a switching signal for switching to another communication method from the display device 10.
  • the wireless communication unit 30 transmits / receives information to / from the display device 10 by wireless communication such as wireless LAN, BlueTooth (registered trademark), or infrared communication.
  • wireless communication such as wireless LAN, BlueTooth (registered trademark), or infrared communication.
  • the wireless communication unit 30 receives image data or the like from the display device 10, or transmits the orientation detected by the orientation sensor 23 b and the orientation detected by the orientation sensor 23 c to the display device 10.
  • the vibration part 31 has a vibration motor and vibrates the portable device 20 with a plurality of vibration patterns.
  • the vibration unit 31 vibrates for several seconds when communication by the human body communication unit 29 or communication by the wireless communication unit 30 is established, and vibrates for several seconds when the above-described communication is completed. Further, the vibration unit 31 can set a plurality of vibration intervals and vibration intensities in order to determine the type of communication, the establishment (start) of communication, and the end of communication.
  • the control unit 32 includes a CPU, and is connected to the display unit 21, the touch panel 22, the sensor unit 23, the time measuring unit 24, the imaging unit 25, the microphone 26, the flash memory 27, the human body communication unit 29, and the vibration unit 31, and is a portable device. 20 is controlled. For example, the control unit 32 changes the orientation of the image displayed on the display unit 21 according to the output of the attitude sensor 23b, or controls communication with the display device 10. Further, the control unit 32 may execute various functions such as a call function and a wallet function.
  • the wireless communication unit 30 of the mobile device 20 and the wireless communication unit 18 of the display device 10 may be difficult.
  • a plurality of receiving units are provided separately from the display device 10 in a space where the display device 10 is installed, and the receiving unit having the highest communication strength is selected from the plurality of receiving units. You may make it detect the direction of.
  • FIG. 3 shows a processing flow of the control unit 19 of the display device 10 according to the present embodiment.
  • the user holds the mobile device 20 with one hand and holds the mobile device 20 in a predetermined posture (vertical position or horizontal position) while performing a predetermined operation on the display device 10.
  • the electrode unit 16 of the display device 10 is touched with the other hand in a state of facing the direction (for example, a state of facing directly).
  • this flowchart starts.
  • the user may hold the portable device 20 in a pocket or the like as long as the portable device 20 is held in a predetermined posture at a location where human body communication is possible.
  • step S ⁇ b> 11 the control unit 19 of the display device 10 determines whether or not human body communication has been established with the mobile device 20 in response to the user touching the electrode unit 16, and human body communication is performed. Wait for processing until established.
  • the control part 19 transfers a process to step S12 at the timing when human body communication was materialized.
  • the control unit 19 causes the display unit 13 to display an indication that human body communication has been established.
  • step S ⁇ b> 12 the control unit 19 transmits an ID transmission request to the portable device 20 by human body communication.
  • the control unit 32 of the mobile device 20 Upon receiving an ID transmission request from the display device 10, the control unit 32 of the mobile device 20 transmits the ID and user information of the mobile device 20 to the display device 10 through human body communication. Prior to this transmission, the control unit 32 may inquire of the user whether the ID and user information may be transmitted to the display device 10. Then, the control unit 19 receives the ID and user information of the mobile device 20 through human body communication, and recognizes the mobile device 20. Further, the control unit 32 performs at least one of the vibrations by the display of the display unit 21 and the vibration unit 31 in order to notify the user that the human body communication is established. In this way, even when human body communication not intended by the user is performed (for example, when the user is unexpectedly hugged) by performing notification indicating the establishment of human body communication on the mobile device 20 side, the user can perform human body communication. Can be recognized.
  • the control unit 19 may acquire the usage history of the display device 10 from the flash memory 15b by the user of the recognized portable device 20 together with the recognition of the portable device 20. By executing the processing of step S12, the control unit 19 can complete the pairing between the display device 10 and the portable device 20 using human body communication.
  • step S13 the control unit 19 acquires the orientation of the mobile device 20 by human body communication.
  • the control unit 19 detects the direction detected by the direction sensor 23c of the mobile device 20 in a state where the user is touching the electrode unit 16 of the display device 10 (for example, a state where the user is facing the display device 10). For example, northwest) can be recognized.
  • the orientation of the user when touching the electrode unit 16 of the display device 10 is at least a predetermined orientation, even if the user is not directly facing the display device 10, other orientations (for example, landscape orientation). It may be.
  • the control part 19 may perform the process of step S12 and step S13 reversely, and may be performed as one step.
  • step S14 the control unit 19 transmits a communication method switching signal to the portable device 20 via human body communication, and changes the communication method between the display device 10 and the portable device 20 from human body communication to wireless. Switch to communication.
  • the control part 19 can transmit / receive data between the portable apparatuses 20 in the state in which the user released the display device 10.
  • wireless communication has a higher data transfer rate than human body communication
  • the control unit 19 can transmit and receive large data such as images to and from the portable device 20.
  • the control unit 19 switches to wireless communication by the wireless communication units 18 and 30 with a user's release from the electrode unit 16 of the display device 10 as a trigger.
  • a display indicating that wireless communication is established is performed on the display units 13 and 21, and the vibration pattern is switched by the vibration unit 31.
  • step S ⁇ b> 15 the control unit 19 displays image data obtained by imaging the user by the imaging unit 11 on the display unit 13. Further, the control unit 19 transmits the image data obtained by capturing the user by the imaging unit 11 to the portable device 20 by wireless communication and causes the display unit 21 of the portable device 20 to display the image data.
  • the control unit 19 may display an image on either the display unit 13 of the display device 10 or the display unit 21 of the mobile device 20 in accordance with a user operation on the touch panel 22 of the mobile device 20.
  • the control unit 19 may receive a notification from the portable device 20 that the user's orientation has been reversed when the detection output of the direction sensor 23c changes by a predetermined angle. In this case, the control unit 19 may stop the display on the display unit 13 of the display device 10 that is not visually recognized by the user.
  • step S ⁇ b> 16 the control unit 19 determines whether or not an image adjustment instruction is received from the portable device 20 by wireless communication. Specifically, the control unit 19 determines whether or not an adjustment instruction for shifting the display range of the image in the right direction or the left direction is received from the portable device 20. A specific operation example of the adjustment instruction will be described later in detail with reference to FIGS.
  • step S17 the control unit 19 recognizes the orientation of the mobile device 20, and based on the recognized orientation, the current user orientation with respect to the display device 10 (for example, facing the display device 10 or facing the back). Is determined). A specific method for determining the user orientation will be described later in detail with reference to FIGS. 4 to 6 together with a specific operation example of the adjustment instruction.
  • control unit 19 detects whether or not the user's face is included in the image captured by the imaging unit 11. If the face can be detected, the user faces the display device 10. It may be determined that Further, the control unit 19 may correct the orientation of the user determined based on the orientation of the mobile device 20 depending on whether or not the user's face is included in the image captured by the imaging unit 11.
  • the control unit 19 subsequently adjusts the display range of the image captured by the imaging unit 11 in step S18. Specifically, the control unit 19 shifts the display range of the image captured by the imaging unit 11 in the right direction or the left direction according to the user's adjustment instruction. After completing the image adjustment in step S18, the control unit 19 returns the process to step S15, and displays the image after the image adjustment on the display unit 13 of the display device 10 and the display unit 21 of the portable device 20.
  • step S16 when determining in step S16 that the adjustment instruction has not been received, the control unit 19 advances the processing to step S19.
  • step S ⁇ b> 19 the control unit 19 determines whether an end instruction has been received from the mobile device 20.
  • the control unit 32 of the portable device 20 establishes pairing. And an unlock icon for canceling the pairing are displayed on the display unit 21.
  • the control unit 32 of the portable device 20 transmits an end instruction to the display device 10 by wireless communication.
  • the control part 19 of the display apparatus 10 judges that the instruction
  • the communication distance of the wireless communication unit 18 of the display device 10 may be set to, for example, about several meters, and the pairing may be canceled when communication with the wireless communication unit 30 of the mobile device 20 is interrupted for a predetermined time.
  • the pairing time with the display device 10 may be set according to the above.
  • control unit 19 When determining that the end instruction has not been received, the control unit 19 returns the process to step S16, and waits for the process in step S16 and step S19 until an adjustment instruction or an end instruction is acquired. When determining that the end instruction has been received, the control unit 19 advances the processing to step S20.
  • step S20 the control unit 19 executes an end setting process.
  • the control unit 19 inquires of the user whether or not to save the image stored in the buffer memory 15a of the memory unit 15 in the flash memory 15b, and receives the save instruction from the user in response to receiving the save instruction from the user.
  • the image stored in 15a is transferred to and stored in the flash memory 15b.
  • the control unit 19 displays the thumbnail image of the image stored in the buffer memory 15a as the display unit 13 of the display device 10 or the display unit 21 of the portable device 20. May be displayed.
  • control unit 19 performs billing in the end setting process in step S20. Then, when the process of step S20 is completed, the control unit 19 exits this flowchart and ends the process.
  • FIG. 4A shows a state where the user holds the mobile device 20 in the vertical position and faces the display device 10.
  • the display device 10 and the portable device 20 display an image captured by the imaging unit 11 (an image of the user's front view).
  • the control unit 32 of the portable device 20 displays a right operation mark 41R that is an arrow display in the right direction of the screen and a left operation mark 41L that is an arrow display in the left direction of the screen on the display unit 21, An operation input for these is accepted.
  • the user touches the right operation mark 41 ⁇ / b> R to shift the image display range of the display device 10 and the mobile device 20 to the right side.
  • the user touches the left operation mark 41L.
  • the control unit 32 of the mobile device 20 images the type of the operated button, the operation amount (for example, the number of touches), and the current direction (for example, northwest). Are transmitted to the display device 10 by wireless communication.
  • the control unit 32 may accept a shift operation from a mechanical button or key instead of the operation input displayed on the display unit 21.
  • control unit 19 of the display device 10 receives an image adjustment instruction from the portable device 20, the control unit 19 compares the azimuth at the time of pairing with the current azimuth to determine the current user orientation with respect to the display device 10. More specifically, if the direction at the time of pairing (for example, northwest) and the current direction (for example, northwest) are the same, the control unit 19 has the same direction as that at the time of pairing. It is determined that there is (for example, the user is directly facing the display device 10). This determination may be performed by the control unit 32 of the mobile device 20.
  • the control unit 19 of the display device 10 sets the display range of the image displayed on the display device 10 and the portable device 20 in the same direction as the direction of the operation button.
  • the operation amount is shifted (for example, a distance corresponding to the number of touches). More specifically, the control unit 19 shifts the display range to the right when the right operation mark 41R is touched while the user is facing the display device 10, and the left operation mark 41L is When touched, the display range is shifted to the left. Thereby, the control part 19 can shift the display range of an image appropriately as a user intends.
  • FIG. 4B shows a state in which the user holds the mobile device 20 in the vertical position and turns his back to the display device 10.
  • the portable device 20 displays an image captured by the imaging unit 11 (that is, an image of the user's rear view). Thereby, the user can confirm his / her rear view by visually recognizing the mobile device 20.
  • control unit 32 of the portable device 20 reverses the user's orientation and turns his back when the detection output of the orientation sensor 23c changes by a predetermined angle from the orientation when the orientation of the user is facing directly. For example, the display device 10 may be notified of this. In addition, when the notification is received, the control unit 19 of the display device 10 may stop viewing the image because the user cannot visually recognize the notification.
  • the user touches the right operation mark 41R to shift the display range of the image of the mobile device 20 to the right side.
  • the user touches the left operation mark 41L.
  • the control unit 32 of the portable device 20 instructs the adjustment of the image by wireless communication with the type of the operated button, the operation amount, and the current direction (for example, southeast). At the same time, it is transmitted to the display device 10.
  • control unit 19 of the display device 10 receives an image adjustment instruction from the portable device 20, the control unit 19 compares the azimuth at the time of pairing with the current azimuth to determine the current user orientation with respect to the display device 10. More specifically, if the orientation (for example, northwest) at the time of pairing differs from the current orientation (for example, southeast) by 180 degrees, the control unit 19 is in the opposite direction to that at the time of pairing. (For example, it is determined that the user is turning away from the display device 10).
  • the left-right direction of the imaging unit 11 of the display device 10 and the left-right direction of the operation button displayed on the portable device 20 are reversed.
  • the control unit 19 of the display device 10 sets the display range of the image in the direction opposite to the direction of the operation button (for example, according to the number of touches). Shift by distance).
  • the control unit 19 of the display device 10 shifts the display range to the left when the right operation mark 41R is touched, When the left operation mark 41L is touched, the display range is shifted to the right side. Thereby, even if it is a case where the user is turning the back with respect to the display apparatus 10, the control part 19 can shift the display range of an image appropriately as a user intends.
  • FIG. 5A shows a state in which the user faces the display device 10 again after facing the display device 10.
  • the control unit 19 of the display device 10 stores the image captured by the imaging unit 11 (image of the user's rear view) in the buffer memory 15a. Then, when the user turns back and faces again, the control unit 19 displays the rear image of the user stored in the buffer memory 15a side by side so as not to overlap the image of the facing user. .
  • the control part 19 arranges and displays so that it may not overlap with the mirror image of the user reflected by the half mirror 13b.
  • control unit 19 of the display device 10 can simultaneously confirm the rear view and the front view of the user without any special operation by the user. Then, the control unit 19 ends the display of the rear view when the rear view display end operation is performed on the touch panel 22 of the mobile device 20 (for example, when an operation for flipping the rear view image is performed on the touch panel 22). To do.
  • control unit 19 of the display device 10 may perform the same processing even when the user faces sideways with respect to the display device 10. Thereby, the control part 19 of the display apparatus 10 can confirm a user's half-body figure and a front figure simultaneously.
  • FIG. 5B shows a state where the user holds the mobile device 20 in the horizontal position and faces the display device 10.
  • the control unit 32 of the display device 10 changes the orientation of the image displayed on the display unit 21 in accordance with the output of the posture sensor 23b. Is rotated 90 degrees so that is positioned on the upper side. Furthermore, the control unit 32 also displays the right operation mark 41R on the right side as viewed from the user and the left operation mark 41L on the left side as viewed from the user. Rotate 90 degrees.
  • the control unit 32 When the posture of the mobile device 20 is switched from the vertical position to the horizontal position (or when the posture is switched from the horizontal position to the vertical position), the control unit 32 does not change the orientation of the user. Maintain output. For example, when the user changes the posture of the mobile device 20 to the horizontal position from the state where the mobile device 20 is held in the vertical position and the output of the direction sensor 23c is, for example, north, the control unit 32 switches to the horizontal position. The output of the direction sensor 23c is maintained so that the subsequent direction is also north. Thereby, even if the attitude of the mobile device 20 is switched, the same direction can be output.
  • FIG. 6A shows a state where the user is facing sideways with respect to the display device 10.
  • FIG. 6B shows a state in which the user is facing obliquely forward with respect to the display device 10.
  • the user may operate the portable device 20 while facing the display device 10 (at an angle of 90 degrees with respect to the display device 10).
  • the user may operate the portable device 20 facing diagonally forward with respect to the display device 10.
  • the control unit 19 of the display device 10 shifts the image in the same manner as when the user is facing the display device 10. That is, the display device 10 shifts the display range to the right when the right operation mark 41R is operated, and shifts the display range to the left when the left operation mark 41L is operated.
  • the user may operate the portable device 20 facing diagonally backward with respect to the display device 10.
  • the display device 10 is the same as when the user is turning away from the display device 10. Shift the image to. That is, the display device 10 shifts the display range to the left when the right operation mark 41R is operated, and shifts the display range to the side when the left operation mark 41L is operated.
  • the portable device 20 may shift the display range by an operation of touching and sliding the image with one or two fingers or the like.
  • the display device 10 shifts the display range to the right if the image is slid to the right in a state where the user is facing, and shifts the display range to the left if the image is slid to the left. . In addition, the display device 10 shifts the display range to the left if the image is slid to the right and the display range is shifted to the right if the image is slid to the left when the user is facing away. .
  • the control unit 19 of the display device 10 may display a gesture menu for performing various operations using gestures on the display unit 13 of the display device 10.
  • the control unit 19 may detect which gesture menu the user has selected by detecting the position of the user's hand using, for example, an infrared device.
  • FIG. 7 is a block diagram of a display system 1 according to a modification example of the present embodiment
  • FIG. 8 is a diagram illustrating an overview of the display system 1 according to the modification example, which will be described below with reference to FIGS. Do. Since the display system 1 according to the modification adopts substantially the same configuration and function as the display system 1 according to the present embodiment described with reference to FIGS. A reference numeral is attached, and the description will be omitted except for differences.
  • the display system 1 further includes at least one makeup tool 50.
  • the makeup tool 50 (50-1, 50-2, 50-3) is a tool for the user to apply makeup on the face or the like (for example, lipstick or eyeliner) or to adjust the appearance.
  • Device for example, comb or contact lens case for transmitting information to the portable device 20 by human body communication.
  • the display unit 13 of the display device 10 has a configuration that does not include the half mirror 13b.
  • the portable device 20 may be inserted into a pocket or the like as long as it is held so that at least human body communication is established, even if the user does not hold it by hand.
  • the makeup tool 50 includes a memory 51, an electrode unit 52, and a human body communication unit 53, and realizes a function of transmitting and receiving information to and from the portable device 20 through human body communication.
  • the memory 51 may be a non-volatile memory and stores data for specifying the makeup tool 50. Further, the memory 51 stores information on a body part (for example, eyes, mouth, eyelashes, eyebrows, cheeks) where the makeup tool 50 is used, and information on whether or not the part exists on the left and right sides of the body. .
  • a body part for example, eyes, mouth, eyelashes, eyebrows, cheeks
  • the electrode unit 52 includes a signal electrode and a ground electrode, and exchanges signals with the portable device 20 through human body communication via a user.
  • a plurality of electrode portions 52 are provided at positions where the user can easily touch the hand when the user takes the makeup tool.
  • the electrode unit 52 may be provided inside a housing formed of plastic or resin. Further, the arrangement of the electrode unit 52 is not limited to the position shown in FIG.
  • the human body communication unit 53 includes a transmission unit that is connected to the memory 51 and the electrode unit 52 and includes an electric circuit having a bandpass filter, and modulates data to be transmitted to generate a transmission signal.
  • the human body communication unit 53 may have a function of receiving data.
  • the human body communication unit 53 establishes human body communication with the human body communication unit 29 of the portable device 20 when the user holds the makeup tool 50 and contacts the electrode. When the human body communication is established, the human body communication unit 53 transmits the data stored in the memory 51 to the mobile device 20 via the user's body.
  • FIG. 10 shows a processing flow of the control unit 19 of the display device 10 according to the modification.
  • the user holds a makeup tool 50 such as an eye shadow chip, and human body communication is established between the makeup tool 50 and the portable device 20, and the control unit 32 of the portable device 20 establishes this human body communication. It starts when it is transmitted to the display device 10.
  • step S31 the control unit 19 confirms that a notification that human body communication has been established between the portable device 20 and the makeup tool 50 has been received.
  • the control part 19 transfers a process to step S32 at the timing when human body communication was materialized. Note that when the human body communication or the wireless communication is established, the vibration unit 31 of the mobile device 20 vibrates, so that the user can recognize the establishment of the communication even when the mobile device 20 is in the pocket.
  • step S ⁇ b> 32 the control unit 19 analyzes the image captured by the imaging unit 11 and detects the user's face in the image.
  • the control unit 19 detects the contour of the user's face and the position and shape of each part of the face (eyes, nose, mouth, etc.) by image analysis processing.
  • step S33 the control unit 19 transmits information in the memory 51 of the makeup tool 50 (information for identifying the makeup tool 50) transmitted from the makeup tool 50 to the portable device 20 in response to the establishment of the human body communication. ) Is received from the portable device 20 by wireless communication, and the type of the makeup tool 50 held by the user is specified. For example, the control unit 19 specifies whether the makeup tool 50 held by the user is an eyeliner or a lipstick. In addition, the control part 19 may replace and perform step S32 and step S33.
  • step S34 the control unit 19 determines whether or not the specified makeup tool 50 is a tool used for a part having left and right. For example, when the specified makeup tool 50 is used for the eyes, eyebrows, eyelashes, cheeks, ears, or the like, the control unit 19 determines that the specified makeup tool 50 is used for a portion having left and right. In addition, when the specified makeup tool 50 is used for the mouth, the nose, or the like, the control unit 19 determines that the specified makeup tool 50 is used for a portion without left and right.
  • control unit 19 determines whether left and right are based on information in the memory 51 (information on whether a part exists on the left and right sides of the body) transmitted from the makeup tool 50 to the mobile device 20 in response to establishment of human body communication. Determine whether the tool is used for a certain part. Moreover, the control part 19 may estimate whether it is a tool used with respect to the site
  • control unit 19 advances the process to step S35.
  • step S35 the control unit 19 causes the display unit 13 to display an image of the user's face and an enlarged image of the body part where the specified makeup tool 50 is used.
  • the control unit 19 divides a divided image 61 representing the entire face and an enlarged image 62 of the mouth left and right. The image is divided and displayed on the display unit 13.
  • control unit 19 determines which part is enlarged and displayed based on the information in the memory 51 transmitted from the makeup tool 50 to the mobile device 20 according to the establishment of human body communication (the makeup tool 50 is used. Information may be estimated based on the type of makeup tool 50 identified. After finishing the display process of step S35, the control part 19 advances a process to step S40.
  • control unit 19 advances the process to step S36.
  • step S36 the control unit 19 causes the display unit 13 to display an image of the user's face and an image obtained by enlarging the part where the specified makeup tool 50 is used (an area including both the left and right parts).
  • the control unit 19 includes a divided image 61 that represents the entire face, and an enlarged image 63 of an area that includes both eyes. Is divided into left and right and displayed on the display unit 13. Note that the control unit 19 may display either the entire face image or the enlarged image of both eyes at the center of the display unit 13.
  • step S ⁇ b> 37 the control unit 19 determines whether the user performs makeup on the left part or the right part based on the image captured by the imaging unit 11. For example, if the makeup tool 50 is an eyeliner, the control unit 19 determines whether the user applies makeup for the right eye or the left eye.
  • FIG. 12A shows a state where the user holds the makeup tool 50 with the right hand and makes the right eye
  • FIG. 12B shows the user holding the makeup tool 50 with the right hand and makes the left eye. Indicates the state.
  • the control unit 19 determines whether the right eye is closed or the left eye is closed based on the captured image. If the right eye is closed, makeup is applied to the right eye, and if the left eye is closed, the left eye is closed. It may be determined that makeup is being applied to.
  • the control unit 19 can determine whether the right hand or the left hand is holding the eyeliner by detecting the angle of the eyeliner. Therefore, the control unit 19 detects whether the right hand is held from the angle of the eyeliner based on the captured image, further detects whether the user's nose is hidden, and the user applies makeup to the right eye. It may be determined whether or not makeup is performed on the left eye.
  • the makeup tool 50 may have an acceleration sensor, a gyro, or the like.
  • the control unit 19 obtains the detection result of the acceleration sensor or the gyro to predict the posture or the moving direction of the makeup tool 50, and performs makeup on the right part or makeup on the left part. You may decide whether to do it.
  • step S38 the control unit 19 enlarges and displays the part on the side determined in step S37 out of the right part and the left part. For example, as illustrated in FIG. 13, when the control unit 19 determines that makeup is performed on the left eye, the control unit 19 displays an enlarged image 64 of the left eye. In addition, when the control unit 19 determines that makeup is applied to the right eye after applying makeup to the left eye, the display unit 19 switches the display from the enlarged image 64 of the left eye to the enlarged image of the right eye.
  • step S39 the control unit 19 determines whether or not makeup has been completed for both the left part and the right part. For example, when the user finishes makeup for each of the left part and the right part and releases the makeup tool 50 and the human body communication between the makeup tool 50 and the portable device 20 is cut off, It is determined that the makeup has been completed for both the site and the site on the right side. If the makeup has been finished only on one side, the control unit 19 returns the process to step S37 and repeats the process until the process is finished for both the left and right parts.
  • the control unit 19 may switch the displayed enlarged image to the left and right, for example, in accordance with a user instruction. Further, in accordance with a user instruction, the control unit 19 switches to a display including the whole of both parts instead of the whole face image, or simultaneously displays an enlarged image of the right part and an enlarged image of the left part. You may do it.
  • control unit 19 may store image data indicating a fashionable makeup example in the memory unit 15 and display a virtual line and a virtual color superimposed on the user's face image.
  • control unit 19 stores a representative hairstyle and makeup data indicating a makeup example that matches the hairstyle in the memory unit 15, discriminates the user's hairstyle from the image captured by the imaging unit 11,
  • the advice may be provided by displaying a makeup example corresponding to the hairstyle stored in the memory unit 15.
  • the control unit 19 may store a plurality of makeup data in the memory unit 15 in association with age, season, clothes, and the like.
  • control unit 19 determines that makeup has been completed for both the left part and the right part, the process proceeds to step S40.
  • step S40 the control unit 19 determines whether the makeup tool 50 has been changed.
  • the control unit 19 is changed to another makeup tool 50 (for example, when the eyeliner pencil changes the eyebrow shape from the eyeliner)
  • the control unit 19 returns the process to step S33 and repeats the process.
  • the control unit 19 applies makeup when the makeup tool 50 is not changed and the human body communication between the makeup tool 50 and the portable device 20 is not performed for a predetermined time (for example, about several tens of seconds to one minute).
  • a predetermined time for example, about several tens of seconds to one minute.
  • communication between the makeup tool 50 and the display device 10 is performed via the portable device 20, but the display system 1 is configured to perform human body communication between the makeup tool 50 and the display device 10. You may make it communicate by establishing near field communication.
  • the portable device 20 is provided with a mirror function (for example, realized by attaching a half mirror film to the display unit 21), and communication is performed by establishing human body communication or proximity communication between the makeup tool 50 and the portable device 20. May be performed.
  • the imaging unit 25 of the mobile device 20 may be driven by a driving mechanism to adjust the position where the user is imaged.
  • the display system 1 may store the makeup history by storing the user image after makeup in the flash memory 27 of the portable device 20, for example. Moreover, the display system 1 may display a user's past make history as advice. Further, the display system 1 may notify the user of a personal color that is a color that suits the user from the stored make history.
  • the display control according to the member that the user has in hand has been described by taking the makeup tool 50 as an example. Absent. That is, the present invention can be applied to a case where the user confirms a swing or a form with the display device 10.
  • the control unit 19 displays on the display unit 13 a divided image 61 representing the entire user and a time-series enlarged image 62 of the tool held in hand.
  • FIG. 14A shows a state where one enlarged image is displayed
  • FIG. 14B shows a state where a plurality of enlarged images are displayed in time series.
  • the control unit 19 may display one enlarged image as shown in FIG. 14 (A), or may display a plurality of enlarged images 62 in time series as shown in FIG. 14 (B).
  • the user can display, for example, the position of the golf club head or the degree of opening on the display device 10.
  • 1 display system 10 display device, 11 imaging unit, 12 drive unit, 13 display unit, 13a display, 13b half mirror, 14 image adjustment unit, 15 memory unit, 15a buffer memory, 15b flash memory, 16 electrode unit, 17 human body Communication unit, 18 wireless communication unit, 19 control unit, 20 portable device, 21 display unit, 22 touch panel, 23 sensor unit, 23a GPS module, 23b attitude sensor, 23c azimuth sensor, 24 timing unit, 25 imaging unit, 26 microphone, 27 flash memory, 28 electrode section, 29 human body communication section, 30 wireless communication section, 31 vibration section, 32 control section, 40 bearing information, 41R right operation mark, 41L left operation mark, 50 makeup tool, 51 memory, 52 electrode section 53 human body Shin portion, 61 divided images, 62 enlarged image 63 enlarged image 64 enlarged image

Abstract

　使い易い装置を提供する。　ユーザが手にした第１部材に関する情報を入力する入力部と、入力部が入力した情報に基づいて、表示部の表示を制御する制御部と、ユーザと第１部材とを撮像可能な撮像部と、第１部材に関する情報に基づいて第１部材がユーザの体のどの部位で使用されるかを判別する判別部と、ユーザが手にした第１部材に応じて撮像部が撮像した画像を調整する画像調整部と、備え、画像調整部は、撮像部が撮像した画像のサイズと、表示領域との少なくとも一方を調整する電子機器を提供する。

Description

電子機器、方法およびプログラム
　本発明は、電子機器、方法およびプログラムに関する。
　従来、自分の後ろ姿を確認する姿見装置が提案されている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
　　［特許文献１］特開２０１０－８７５６９号公報
　しかしながら、従来の姿見装置は、操作の使い易さについては言及されておらず、使い勝手の良いものではなかった。
　本発明の第１の態様においては、ユーザが手にした第１部材に関する情報を入力する入力部と、前記入力部が入力した情報に基づいて、表示部の表示を制御する制御部と、を備えた電子機器、方法およびプログラムを提供する。
　本発明の第２の態様においては、ユーザが手にした第１部材に関する情報を入力する入力部と、前記入力部が入力した情報に基づいて、前記ユーザの動きを予測する予測部と、を備えた電子機器を提供する。
　なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本実施形態に係る表示システム１のブロック図である。 本実施形態に係る表示システム１の概要を示す図である。 本実施形態に係る表示装置１０の制御部１９の処理フローを示す。 （Ａ）はユーザが携帯機器２０を縦位置で保持し、表示装置１０に対して正対している状態を示し、（Ｂ）はユーザが携帯機器２０を縦位置で保持し、表示装置１０に対して背を向けている状態を示す。 （Ａ）はユーザが表示装置１０に対して背を向けてから、再度、表示装置１０に対して正対した状態を示し、（Ｂ）はユーザが携帯機器２０を横位置で保持し、表示装置１０に対して正対している状態を示す。 （Ａ）はユーザが表示装置１０に対して横を向いている状態を示し、（Ｂ）はユーザが表示装置１０に対して斜め前方向を向いている状態を示す。 変形例に係る表示システム１のブロック図である。 変形例に係る表示システム１の概要を示す図である。 化粧道具５０の外観の一例を示す。 変形例に係る表示装置１０の制御部１９の処理フローを示す。 （Ａ）はユーザの顔の全体画像および口の画像を分割して表示した例を示し、（Ｂ）はユーザの顔の全体画像および両目の画像を分割して表示した例を示す。 （Ａ）はユーザが右目の化粧をしている状態を示し、（Ｂ）はユーザが左目の化粧をしている状態を示す。 ユーザの顔の全体画像および右目の画像を分割して表示した例を示す。 図１４（Ａ）は１つの拡大画像を表示している状態を示し、図１４（Ｂ）は拡大画像を時系列で複数表示させている状態を示す。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　（表示システム１の構成）
　図１は、本実施形態に係る表示システム１のブロック図を示し、図２は、表示システム１の概要を示す図であり、以下図１，２を用いて説明を行う。なお、表示システム１は、例えばユーザが自身の姿を確認するための姿見装置として用いられる。
　表示システム１は、表示装置１０と、ユーザにより保持されて用いられる携帯機器２０とを用いてユーザの姿見を行うものである。表示装置１０および携帯機器２０は、人体通信および無線通信によりデータの送受信を行うことができる。
　表示装置１０および携帯機器２０は、通常時には互いに独立の装置として機能するが、人体通信を介したペアリング（互いの装置を認証する処理）を行った場合には互いに連携して動作する。
　人体通信は、導体である人体を通信媒体とする通信であり、人体に微弱な電流を流して、その電流を変調して情報を伝達する電流方式、および人体の表面に誘起する電力電界を変調して情報を伝達する電界方式等がある。本実施形態においては、電流方式及び電界方式の何れのタイプを用いることも可能であるが、ここでは電界方式を用いた場合について説明する。また、表示装置１０および携帯機器２０は、人体通信に代えて、ＦｅｌｉＣａ（登録商標）等の非接触通信、トランスファージェット（登録商標）等の近接無線転送技術または近距離無線通信（ＮＦＣ）等の近接通信を用いてペアリングを行ってもよい。
　（表示装置１０）
　表示装置１０は、一例として対角の長さが２０インチより大きい表示領域を有する機器である。表示装置１０は、撮像部１１と、駆動部１２と、表示部１３と、画像調整部１４と、メモリ部１５と、電極部１６と、人体通信部１７と、無線通信部１８と、制御部１９と、を備える。
　撮像部１１は、レンズ群と、ＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子とを有する。撮像部１１は、当該表示装置１０の上部等に設けられ、当該表示装置１０の前に位置するユーザの顔（または全身等）を撮像して動画及び静止画等を出力する。なお、撮像部１１は、レンズ群の一部のレンズとして、ズームレンズを含んでもよい。
　駆動部１２は、撮像部１１をチルト方向（垂直方向の首振り）およびパン方向（水平方向の首振り）に駆動して、撮像部１１の撮影方向を変更する。駆動部１２は、一例として、ＤＣモータ、ボイスコイルモータおよびリニアモータ等を適用することができる。
　表示部１３は、撮像部１１が撮像した画像を表示面に表示するディスプレイ１３ａ（例えば液晶表示装置）と、このディスプレイ１３ａの表示面に重ね合わせて設けられたハーフミラー１３ｂとを有する。ハーフミラー１３ｂは、ガラス等の透明な板に金属膜を蒸着したり、半透過膜を透明な板に貼り付けたりすることにより形成され、一方の側からの光を反射するとともに、この一方の側とは反対の側からの光を透過する。このようなハーフミラー１３ｂを有することにより、表示部１３は、当該表示装置１０の前に位置するユーザに対して、撮像部１１が撮像した画像とともに、当該ユーザの鏡像を反射して視認させることができる。また、表示部１３は、人体通信が成立していることを示す表示や、無線通信が成立していることを示す表示を行っており、これにより、ユーザは通信状況を視認することができる。
　なお、表示部１３は、ハーフミラー１３ｂを有さずに、撮像部１１が撮像した画像を表示してもよい。また、表示部１３は、表示領域を分割して、ハーフミラー１３ｂによる鏡像と撮像部１１による撮像画像との両方を視認できる領域と、鏡像および撮像画像の一方を視認できる領域とを形成してもよい。
　画像調整部１４は、撮像部１１により撮像された画像を調整して表示部１３に表示させる。具体的には、画像調整部１４は、撮像部１１により撮像された画像の一部をトリミングしたり、トリミングした画像を拡大したり、画像のトリミング位置を移動させたりして、表示部１３に表示させる。
　メモリ部１５は、バッファメモリ１５ａと、不揮発性のフラッシュメモリ１５ｂとを有する。バッファメモリ１５ａは、撮像部１１によって撮像された画像データを一時的に記憶したり、画像調整部１４のワークメモリとして用いられたりする。なお、バッファメモリ１５ａは、例えば揮発性の半導体メモリである。フラッシュメモリ１５ｂには、バッファメモリ１５ａに記憶された画像データのうちユーザ等により指定された画像データが転送され、転送された画像データを記憶する。また、フラッシュメモリ１５ｂは、制御部１９により実行されるプログラムデータ等の各種データを記憶する。
　電極部１６は、信号電極とグランド電極とを有し、携帯機器２０との間でユーザを介した人体通信により信号を授受する。電極部１６は、ユーザの手に触れやすいように表示装置１０の前面に設けられている。なお、電界方式の人体通信においては、ユーザが素手である場合（すなわち、ユーザの手と電極部１６が接触している場合）はもちろん、ユーザが手袋をしている場合（すなわち、ユーザの手と電極部１６が対向している場合）であっても、通信可能である。このため、電極部１６は、プラスチックまたは樹脂等で形成された筐体の内部に設けられていてもよい。また、グランド電極は、表示装置１０の回路基板のグランドに接続されていてもよい。
　人体通信部１７は、電極部１６に接続され、バンドパスフィルタを有した電気回路から構成される送受信部を有し、入力した受信信号を復調して受信データを生成したり、送信するデータを変調して送信信号を生成したりする。人体通信部１７は、携帯機器２０との間でユーザの人体を介した人体通信により情報を送受信する。例えば、人体通信部１７は、携帯機器２０のＩＤを受信したり、携帯機器２０に対して表示装置１０のＩＤを送信したりする。また、人体通信部１７は、他の通信方式への切換えをさせるための切換信号を携帯機器２０に送信する。
　無線通信部１８は、無線ＬＡＮ（Local Aria Network）、BlueTooth（登録商標）又は赤外線通信等の無線通信により、携帯機器２０との間で情報を送受信する。例えば、無線通信部１８は、バッファメモリ１５ａに記憶された画像データ等を携帯機器２０に送信する。
　制御部１９は、ＣＰＵ（Central Processing Unit）を有し、撮像部１１、駆動部１２、表示部１３のディスプレイ１３ａ、画像調整部１４、メモリ部１５（バッファメモリ１５ａ及びフラッシュメモリ１５ｂ）、人体通信部１７及び無線通信部１８に接続されて、表示装置１０の全体を制御する。例えば、制御部１９は、携帯機器２０との間の通信処理を制御する。
　（携帯機器２０）
　携帯機器２０は、一例として、携帯電話機、スマートフォンまたはタブレット型のコンピュータ等の機器である。携帯機器２０は、表示部２１と、タッチパネル２２と、センサ部２３と、計時部２４と、撮像部２５と、マイクロフォン２６と、フラッシュメモリ２７と、電極部２８と、人体通信部２９と、無線通信部３０と、振動部３１と、制御部３２と、を備える。
　表示部２１は、液晶ディスプレイまたは有機ＥＬディスプレイ等であり、制御部３２の制御の下、画像データおよび文字データ等のデータを表示したり、ユーザが操作を行うための操作ボタンおよびメニュー等を表示したりする。また、表示部２１は、人体通信が成立していることを示す表示や、無線通信が成立していることを示す表示（例えば、アイコン表示）を行ってもよい。この場合、後述する電極部２８の出力からユーザが携帯機器２０を保持していることや、後述する姿勢センサ２３ｂの出力からユーザが表示部２１を視認可能と判断される場合に通信状態の表示を行うようにしてもよい。なお、表示装置１０の表示部１３の表示領域が対角数十インチであるのに対して、表示部２１の表示領域は、対角数インチであり、表示装置１０の表示部１３と比較して小さい。
　タッチパネル２２は、表示部２１に一体的に設けられており、ユーザが表示部２１に表示された仮想操作ボタン（例えば、図４に示す右操作マーク４１Ｒ、左操作マーク４１Ｌ）またはメニュー等に対して操作した場合、当該操作入力を受け付ける操作部である。タッチパネル２２は、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式または静電容量方式等のいずれの方式であってもよい。なお、タッチパネル２２に代えて、または、併用して操作ボタンを用いてもよい。
　センサ部２３は、ＧＰＳ（Global Positioning System）モジュール２３ａと、姿勢センサ２３ｂと、方位センサ２３ｃとを有する。これらに加えて、センサ部２３は、ユーザの生体情報を取得する生体センサを有してもよい。
　ＧＰＳモジュール２３ａは、携帯機器２０の位置（緯度、経度）を検出する。ＧＰＳモジュール２３ａにより検出される位置情報（ユーザが存在する位置の情報）は、制御部３２によりフラッシュメモリ２７に書き込まれる。
　姿勢センサ２３ｂは、携帯機器２０の姿勢を検出するセンサであり、本実施形態においては、ユーザが携帯機器２０を保持する角度や、ユーザが携帯機器２０を縦位置か横位置かのいずれで保持しているのかを検出する。なお、ここで、縦位置とは、携帯機器２０の表示部２１をユーザが図２に示されているように保持した状態をいい、横位置とは縦位置からほぼ９０度回転して後述の図５（Ｂ）に示されているように保持した状態をいう。
　姿勢センサ２３ｂは、一例として、フォトインタラプタの赤外光を重力によって移動する小球が遮断するか否かを検知することにより一軸方向の姿勢を検出するセンサを、複数個組合せた構成である。これに代えて、姿勢センサ２３ｂは、３軸加速度センサまたはジャイロセンサ等を用いた構成であってもよい。また、姿勢センサ２３ｂは、タッチパネル２２に接触しているユーザの指の位置から携帯機器２０が縦位置か横位置かを検出する構成であってもよい。
　また、姿勢センサ２３ｂは、筐体の側面のほぼ全体に設けられた電極に接触した指の位置から携帯機器２０が縦位置か横位置かを検出する構成であってもよい。この場合、指が接触している電極の抵抗値および容量値は低下するので、姿勢センサ２３ｂは、電極の抵抗値または容量値の変化を検出して手で触れられている電極を検知する。また、このような姿勢センサ２３ｂを設けた場合、携帯機器２０は、抵抗または容量が下がった電極を、人体通信に用いる電極部２８として機能させてもよい。
　なお、姿勢センサ２３ｂにより検出された携帯機器２０の姿勢情報は、表示部２１に表示される画像の向きの調整等に用いられる。
　方位センサ２３ｃは、方位を検出するためのセンサであり、互いに直交する方向の地磁気成分を検出する２軸の磁気センサによる磁界検出値から方位を検出する。本実施形態においては、方位センサ２３ｃにより検出された方位は、ユーザの表示装置１０に対する向き（例えばユーザが表示装置１０に対して正対しているか、または、ユーザが表示装置１０に対して背を向けているか等）の判別に用いられる。
　また、本実施形態においては、方位センサ２３ｃにより検出された方位は、例えば、図２に示すように、携帯機器２０に方位情報４０として表示される。
　計時部２４は、現在の時刻を検出したり、指定された期間の経過時間を計時したりする。計時部２４は、検出結果および計時結果を制御部３２に出力する。
　撮像部２５は、レンズ群と、ＣＣＤイメージセンサまたはＣＭＯＳセンサ等の撮像素子とを有し、被写体を撮像して動画及び静止画等を出力する。本実施形態においては、撮像部２５は、表示部２１と同一面における上方に設けられており、携帯機器２０を使用するユーザを撮像することができる。
　マイクロフォン２６は、表示部２１と同一面における下方に設けられており、主にユーザが発した音声を取得する。フラッシュメモリ２７は、不揮発性のメモリであり、表示装置１０から送信された各種データ、センサ部２３の検出データ、および携帯機器２０のアプリケーションプログラム等を記憶する。
　電極部２８は、信号電極とグランド電極とを有し、表示装置１０との間でユーザを介した人体通信により信号を授受する。電極部２８は、ユーザの手に触れやすいように携帯機器２０の側面または背面等に設けられている。なお、電界方式の人体通信においては、電極部２８は、プラスチックまたは樹脂等で形成された筐体の内部に設けられていてもよい。また、グランド電極は、携帯機器２０の回路基板のグランドと接続されていてもよい。
　人体通信部２９は、電極部２８に接続され、バンドパスフィルタを有した電気回路から構成される送受信部を有し、入力した受信信号を復調して受信データを生成したり、送信するデータを変調して送信信号を生成したりする。人体通信部２９は、表示装置１０に対して携帯機器２０のＩＤを送信したり、表示装置１０のＩＤを受信したりする。また、人体通信部２９は、他の通信方式への切換えをさせるための切換信号を表示装置１０から受信する。
　無線通信部３０は、無線ＬＡＮ、ＢｌｕｅＴｏｏｔｈ（登録商標）又は赤外線通信等の無線通信により表示装置１０との間で情報を送受信する。例えば、無線通信部３０は、表示装置１０から画像データ等を受信したり、姿勢センサ２３ｂにより検出された姿勢や、方位センサ２３ｃにより検出された方位を表示装置１０に送信したりする。
　振動部３１は、振動モータを有し、複数の振動パターンで携帯機器２０を振動させるものである。本実施の形態においては、人体通信部２９による通信や無線通信部３０による通信が成立したときに振動部３１が数秒程度振動し、前述の通信が終了した際に数秒程度振動する。また、振動部３１は、通信の種類や、通信の成立（開始）、通信の終了を判別するために振動の間隔や、振動の強度を複数設定できる。
　制御部３２は、ＣＰＵを有し、表示部２１、タッチパネル２２、センサ部２３、計時部２４、撮像部２５、マイクロフォン２６、フラッシュメモリ２７、人体通信部２９および振動部３１と接続されて携帯機器２０の全体を制御する。例えば、制御部３２は、姿勢センサ２３ｂの出力に応じて表示部２１に表示する画像の向きを変更したり、表示装置１０との間の通信の制御をしたりする。更に、制御部３２は、通話機能および財布機能等の各種機能を実行してもよい。
　なお、携帯機器２０の無線通信部３０と、表示装置１０の無線通信部１８との通信が行われにくい場合がある。このような場合、表示システム１では、表示装置１０が設置されているスペースに表示装置１０から分離して複数の受信部を設け、複数の受信部の中から最も通信強度の強い受信部からユーザの向きを検出するようにしてもよい。
　（表示システム１の処理フロー）
　図３は、本実施形態に係る表示装置１０の制御部１９の処理フローを示す。表示装置１０及び携帯機器２０を連携して動作させる場合、ユーザは、携帯機器２０を一方の手で持って所定の姿勢（縦位置または横位置）で保持しながら、表示装置１０に対して所定の向きを向いた状態（例えば正対した状態）で、他方の手で表示装置１０の電極部１６に触れる。このことに応じて、本フローチャートはスタートする。なお、ユーザは、携帯機器２０を人体通信が可能な箇所に所定の姿勢で保持していれば、手で持っていなくてもポケット等に入れていてもよい。
　まず、ステップＳ１１において、表示装置１０の制御部１９は、ユーザが電極部１６を触れたことに応じて、携帯機器２０との間で人体通信が成立したか否かを判断し、人体通信が成立するまで処理を待機する。制御部１９は、人体通信が成立したタイミングで処理をステップＳ１２に移行する。なお、制御部１９は人体通信が成立したことを示す表示を表示部１３にさせている。
　続いて、ステップＳ１２において、制御部１９は、人体通信によりＩＤの送信要求を携帯機器２０に対して送信する。携帯機器２０の制御部３２は、表示装置１０からＩＤの送信要求を受け取ると、当該携帯機器２０のＩＤ及びユーザ情報を表示装置１０に対して人体通信により送信する。この送信に先立って、制御部３２は、表示装置１０へＩＤ及びユーザ情報を送信してもよいかをユーザに問い合わせてもよい。そして、制御部１９は、人体通信を介して携帯機器２０のＩＤ及びユーザ情報を受信して、携帯機器２０を認識する。また、制御部３２は人体通信が成立したことをユーザに報知するために、表示部２１の表示と、振動部３１により振動の少なくとも１つを行っている。このように、携帯機器２０側で人体通信の成立を示す報知を行うことにより、ユーザが意図していない人体通信が行われたような場合（例えば不意に抱きつかれた場合）でもユーザは人体通信の成立している状態を認識することができる。
　なお、制御部１９は、携帯機器２０の認識とともに、認識した携帯機器２０のユーザにより表示装置１０の利用履歴をフラッシュメモリ１５ｂから取得してもよい。このステップＳ１２の処理を実行することにより、制御部１９は、人体通信をもちいて表示装置１０と携帯機器２０とのペアリングを完了させることができる。
　続いて、ステップＳ１３において、制御部１９は、携帯機器２０の方位を人体通信により取得する。これにより、制御部１９は、ユーザが表示装置１０の電極部１６に触れている状態（例えば、ユーザが表示装置１０と正対している状態）において携帯機器２０の方位センサ２３ｃが検出した方位（例えば、北西）を認識することができる。
　なお、表示装置１０の電極部１６に触れるときのユーザの向きは、少なくとも予め定められた向きであれば、ユーザが表示装置１０に対して正対でなくても、他の向き（例えば横向き）であってもよい。また、制御部１９は、ステップＳ１２とステップＳ１３の処理を逆に実行してもよいし、１つのステップとして実行してもよい。
　続いて、ステップＳ１４において、制御部１９は、人体通信を介して通信方式の切換信号を携帯機器２０に送信して、表示装置１０と携帯機器２０との間の通信方式を、人体通信から無線通信に切り替える。これにより、制御部１９は、ユーザが表示装置１０から手を離した状態で、携帯機器２０との間でデータの送受信をすることができる。また、無線通信は人体通信と比較してデータ転送速度が速いので、制御部１９は、携帯機器２０との間で画像等の大きなデータの送受信をすることができる。なお、制御部１９は、上述のペアリングが成立した後は、ユーザが表示装置１０の電極部１６から手を離したのをトリガーとして無線通信部１８、３０による無線通信に切り替えるようにする。なお、通信方式の切換えに応じて、表示部１３、２１には無線通信が成立していることを示す表示が行なわれ、振動部３１による振動パターンの切換えが行なわれる。
　続いて、ステップＳ１５において、制御部１９は、撮像部１１によりユーザを撮像した画像データを、表示部１３に表示する。さらに、制御部１９は、撮像部１１によりユーザを撮像した画像データを、無線通信により携帯機器２０に送信して、携帯機器２０の表示部２１に表示させる。
　なお、制御部１９は、携帯機器２０のタッチパネル２２に対するユーザの操作に応じて、表示装置１０の表示部１３または携帯機器２０の表示部２１の何れか一方に、画像を表示させてもよい。また、制御部１９は、方位センサ２３ｃの検出出力が予め定められた角度変化した場合に、ユーザの向きが反転したという通知を携帯機器２０から通知を受けてもよい。この場合には、制御部１９は、ユーザにより視認がされない表示装置１０の表示部１３の表示を中止してもよい。
　続いて、ステップＳ１６において、制御部１９は、携帯機器２０から無線通信により、画像の調整指示を受信したか否かを判断する。具体的には、制御部１９は、画像の表示範囲を右方向または左方向にシフトさせる調整指示を、携帯機器２０から受信したか否かを判断する。なお、調整指示の具体的な操作例については、詳細を図４～図６を参照して後述する。
　制御部１９は、調整指示を携帯機器２０から受信した場合、処理をステップＳ１７に進める。ステップＳ１７において、制御部１９は、携帯機器２０の方位を認識して、認識した方位に基づき表示装置１０に対する現在のユーザの向き（例えば、表示装置１０に対して正対しているか又は背を向けているか）を判別する。なお、具体的なユーザの向きの判別方法については、調整指示の具体的な操作例とともに、詳細を図４～図６を参照して後述する。
　なお、制御部１９は、撮像部１１により撮像された画像にユーザの顔が含まれているか否かを検出し、顔が検出できた場合には、ユーザが表示装置１０に対して正対していると判別してもよい。また、制御部１９は、撮像部１１により撮像された画像にユーザの顔が含まれているか否かに応じて、携帯機器２０の方位に基づき判定されたユーザの向きを補正してもよい。
　表示装置１０に対するユーザの向きが判別できると、続いて、ステップＳ１８において、制御部１９は、撮像部１１により撮像された画像の表示範囲を調整する。具体的には、制御部１９は、撮像部１１により撮像された画像の表示範囲を、ユーザの調整指示に応じて右方向または左方向にシフトさせる。制御部１９は、ステップＳ１８での画像調整を終えると、処理をステップＳ１５に戻して、画像調整がされた後の画像を、表示装置１０の表示部１３および携帯機器２０の表示部２１に表示させる。
　一方、ステップＳ１６で調整指示を受信していないと判断する場合、制御部１９は、処理をステップＳ１９に進める。ステップＳ１９において、制御部１９は、終了指示を携帯機器２０から受信したか否かを判断する。
　例えば、表示装置１０と携帯機器２０との間で人体通信が成立して、表示装置１０及び携帯機器２０のペアリングが成立した場合に、携帯機器２０の制御部３２は、ペアリングが成立していることを示すアイコン、および、このペアリングを解除させる解除アイコンを表示部２１に表示する。携帯機器２０の制御部３２は、ペアリングを解除アイコンがユーザにより操作された場合、終了指示を無線通信により表示装置１０に送信する。そして、表示装置１０の制御部１９は、このような終了指示を携帯機器２０から受信した場合に、ユーザによりペアリングの解除させる指示がされたと判断する。なお、表示装置１０の無線通信部１８の通信距離を例えば数ｍ程度に設定しておき、携帯機器２０の無線通信部３０との通信が所定時間途切れたらペアリングを解除させてもよく、課金に応じて表示装置１０とのペアリング時間を設定するようにしてもよい。
　終了指示を受信していないと判断する場合、制御部１９は、処理をステップＳ１６に戻し、調整指示または終了指示を取得するまで、処理をステップＳ１６およびステップＳ１９において待機する。また、終了指示を受信したと判断する場合、制御部１９は、処理をステップＳ２０に進める。
　ステップＳ２０において、制御部１９は、終了設定処理を実行する。制御部１９は、一例として、メモリ部１５のバッファメモリ１５ａに記憶されている画像をフラッシュメモリ１５ｂに保存させるか否をユーザに問い合わせて、ユーザによる保存指示を受けたことに応じて、バッファメモリ１５ａに記憶されている画像をフラッシュメモリ１５ｂに転送して記憶させる。なお、制御部１９は、画像を保存するか否かをユーザに問い合わせる場合に、バッファメモリ１５ａに記憶されている画像のサムネイル画像を、表示装置１０の表示部１３または携帯機器２０の表示部２１に表示してもよい。
　また、表示システム１を商業ベースで用いる場合には、制御部１９は、ステップＳ２０の終了設定処理において課金を実行する。そして、制御部１９は、ステップＳ２０の処理を完了すると、本フローチャートを抜けて処理を終了する。
　（正対している場合の画像の調整方法）
　図４（Ａ）は、ユーザが携帯機器２０を縦位置で保持し、表示装置１０に対して正対している状態を示す。
　ユーザが表示装置１０に対して正対している場合、表示装置１０および携帯機器２０は、撮像部１１が撮像した画像（ユーザの正面姿の画像）を表示する。また、携帯機器２０の制御部３２は、表示部２１に、画面右方向への矢印表示である右操作マーク４１Ｒ、及び、画面左方向への矢印表示である左操作マーク４１Ｌを表示して、これらに対する操作入力を受け付ける。
　表示装置１０に正対している状態において、ユーザは、表示装置１０及び携帯機器２０の画像の表示範囲を右側にシフトさせたい場合には、右操作マーク４１Ｒをタッチ操作する。また、ユーザは、表示装置１０及び携帯機器２０の画像の表示範囲を左側にシフトさせたい場合には、左操作マーク４１Ｌをタッチ操作する。
　右操作マーク４１Ｒまたは左操作マーク４１Ｌが操作された場合、携帯機器２０の制御部３２は、操作されたボタンの種類、操作量（例えば、タッチ回数）、および現在の方位（例えば北西）を画像の調整指示とともに無線通信により表示装置１０に送信する。なお、制御部３２は、表示部２１に表示された操作入力に代えて、機械的なボタンまたはキーからシフトの操作を受け付けてもよい。
　表示装置１０の制御部１９は、携帯機器２０から画像の調整指示を受信すると、ペアリングのときの方位と現在の方位とを比較して、表示装置１０に対する現在のユーザの向きを判別する。より具体的には、制御部１９は、ペアリングのときの方位（例えば北西）と、現在の方位（例えば北西）とが同一であれば、ユーザの向きがペアリングのときの向きと同一である（例えば、ユーザが表示装置１０に対して正対している）と判別する。なお、この判定は、携帯機器２０の制御部３２が実行してもよい。
　そして、表示装置１０の制御部１９は、ユーザの向きがペアリングのときと同一である場合、表示装置１０及び携帯機器２０に表示する画像の表示範囲を、操作ボタンの方向と同一の方向に、操作量分（例えばタッチ数に応じた距離分）シフトさせる。より具体的には、制御部１９は、ユーザが表示装置１０に対して正対している状態において、右操作マーク４１Ｒがタッチされた場合には表示範囲を右側にシフトさせ、左操作マーク４１Ｌがタッチされた場合には表示範囲を左側にシフトさせる。これにより、制御部１９は、ユーザの意図通りに適切に画像の表示範囲をシフトさせることができる。
　（背を向けた場合の画像の調整方法）
　図４（Ｂ）は、ユーザが携帯機器２０を縦位置で保持し、表示装置１０に対して背を向けている状態を示す。
　ユーザが表示装置１０に対して背を向けた場合、携帯機器２０は、撮像部１１が撮像した画像（即ち、ユーザの後姿の画像）を表示する。これにより、ユーザは、携帯機器２０を視認することにより、自身の後姿を確認することができる。
　なお、携帯機器２０の制御部３２は、方位センサ２３ｃの検出出力がユーザの向きが、正対しているときの方位から予め定められた角度変化した場合、ユーザの向きが反転して背を向けたとして表示装置１０にその旨を通知してもよい。また、当該通知を受けた場合、表示装置１０の制御部１９は、ユーザが視認することができないので、画像の表示を中止してもよい。
　表示装置１０に背を向けている状態において、ユーザは、携帯機器２０の画像の表示範囲を右側にシフトさせたい場合には、右操作マーク４１Ｒをタッチ操作する。また、ユーザは、携帯機器２０画像の表示範囲を左側にシフトさせたい場合には、左操作マーク４１Ｌをタッチ操作する。
　右操作マーク４１Ｒまたは左操作マーク４１Ｌが操作された場合、携帯機器２０の制御部３２は、操作されたボタンの種類、操作量、および現在の方位（例えば南東）を無線通信により画像の調整指示とともに表示装置１０に送信する。
　表示装置１０の制御部１９は、携帯機器２０から画像の調整指示を受信すると、ペアリングのときの方位と現在の方位とを比較して、表示装置１０に対する現在のユーザの向きを判別する。より具体的には、制御部１９は、ペアリングのときの方位（例えば北西）と、現在の方位（例えば南東）とが１８０度異なれば、ユーザの向きがペアリングのときと逆向きである（例えば、ユーザが表示装置１０に対して背を向けている）と判別する。
　ここで、ユーザが表示装置１０に対して背を向けている場合、表示装置１０の撮像部１１の左右方向と、携帯機器２０に表示された操作ボタンの左右方向とが逆となる。このため、表示装置１０の制御部１９は、ユーザが表示装置１０に対して背を向けている場合、画像の表示範囲を操作ボタンの方向と逆方向に操作量分（例えばタッチ数に応じた距離分）シフトさせる。
　より具体的には、ユーザが表示装置１０に対して背を向けている状態において、表示装置１０の制御部１９は、右操作マーク４１Ｒがタッチされた場合には表示範囲を左側にシフトさせ、左操作マーク４１Ｌがタッチされた場合には表示範囲を右側にシフトさせる。これにより、制御部１９は、ユーザが表示装置１０に対して背を向けている場合であっても、ユーザの意図通りに適切に画像の表示範囲をシフトさせることができる。
　（背を向けてから再度正対した場合の表示方法）
　図５（Ａ）は、ユーザが表示装置１０に対して背を向けてから、再度、表示装置１０に対して正対した状態を示す。
　表示装置１０の制御部１９は、ユーザが表示装置１０に対して背を向けている場合、撮像部１１が撮像した画像（ユーザの後姿の画像）をバッファメモリ１５ａに記憶させておく。そして、制御部１９は、ユーザが背を向けてから、再度正対した場合、バッファメモリ１５ａに記憶されたユーザの後姿の画像を、正対しているユーザの画像と重ならないように並べて表示する。なお、表示部１３がハーフミラー１３ｂを有する場合には、制御部１９は、ハーフミラー１３ｂにより反射されたユーザの鏡像と重ならないように並べて表示する。
　これにより、表示装置１０の制御部１９は、ユーザにより特別の何ら操作をさせることなく、ユーザの後姿及び正面姿を同時に確認させることができる。そして、制御部１９は、携帯機器２０のタッチパネル２２に対して、後姿の表示終了操作がされた場合（例えばタッチパネル２２で後姿の画像を弾くような操作がされた場合）、後姿の表示を終了する。
　なお、表示装置１０の制御部１９は、ユーザが表示装置１０に対して横を向いた場合においても、同様の処理を実行してもよい。これにより、表示装置１０の制御部１９は、ユーザの半身姿及び正面姿を同時に確認させることができる。
　（携帯機器２０の姿勢を縦位置から横位置に持ち替えた場合の表示方法等）
　図５（Ｂ）は、ユーザが携帯機器２０を横位置で保持し、表示装置１０に対して正対している状態を示す。
　ユーザが携帯機器２０の姿勢を縦位置から横位置に持ち替えた場合、表示装置１０の制御部３２は、姿勢センサ２３ｂの出力に応じて表示部２１に表示する画像の向きを、ユーザの頭頂部が上側に位置するように９０度回転させる。さらに、制御部３２は、右操作マーク４１Ｒおよび左操作マーク４１Ｌの表示位置も、ユーザから見て右側に右操作マーク４１Ｒが表示され、ユーザから見て左側に左操作マーク４１Ｌが表示されるように、９０度回転させる。
　制御部３２は、携帯機器２０の姿勢が縦位置から横位置へ切り替わった場合（又は横位置から縦位置に切り替わった場合）、ユーザの向きは変わっていないので、姿勢切換え前の方位センサ２３ｃの出力を維持する。例えば、制御部３２は、携帯機器２０を縦位置で保持し且つ方位センサ２３ｃの出力が例えば北である状態から、ユーザが携帯機器２０の姿勢を横位置に変更した場合、横位置に切り替わった後の方位も同じく北となるように、方位センサ２３ｃの出力を維持する。これにより、携帯機器２０の姿勢が切り替わったとしても、同一の方位を出力することができる。
　（その他の場合の表示方法）
　図６（Ａ）は、ユーザが表示装置１０に対して横を向いている状態を示す。図６（Ｂ）は、ユーザが表示装置１０に対して斜め前方向を向いている状態を示す。
　図６（Ａ）に示すように、ユーザは、表示装置１０に対して横（表示装置１０に対して９０度の角度）を向いて携帯機器２０を操作してもよい。また、図６（Ｂ）に示すように、ユーザは、表示装置１０に対して斜め前方向を向いて携帯機器２０を操作してもよい。
　このような場合、表示装置１０の制御部１９は、ユーザが表示装置１０に対して正対している場合と同様に画像をシフトさせる。即ち、表示装置１０は、右操作マーク４１Ｒが操作された場合には、表示範囲を右側にシフトさせ、左操作マーク４１Ｌが操作された場合には、表示範囲を左側にシフトさせる。
　また、ユーザは、表示装置１０に対して斜め後方向を向いて携帯機器２０を操作してもよい。例えば、ユーザが表示装置１０に対して９０度（又は２７０度）よりも後ろ側を向いて操作をした場合、表示装置１０は、ユーザが表示装置１０に対して背を向けている場合と同様に画像をシフトさせる。即ち、表示装置１０は、右操作マーク４１Ｒが操作された場合には、表示範囲を左側にシフトさせ、左操作マーク４１Ｌが操作された場合には、表示範囲を側にシフトさせる。
　また、携帯機器２０は、１本または２本の指等で画像を触ってスライドする操作により、表示範囲をシフトさせてもよい。
　この場合、表示装置１０は、ユーザが正対している状態で、画像が右側にスライドされれば、表示範囲を右側にシフトさせ、画像が左側にスライドされれば、表示範囲を左側にシフトさせる。また、表示装置１０は、ユーザが背を向けている状態で、画像が右側にスライドされれば、表示範囲を左側にシフトさせ、画像が左側にスライドされれば、表示範囲を右側にシフトさせる。
　なお、表示装置１０の制御部１９は、表示装置１０の表示部１３に、各種の操作をジェスチャにて行なうためのジェスチャメニューを表示してもよい。この場合、制御部１９は、例えば赤外線装置によりユーザの手の位置を検出して、ユーザが何れのジェスチャメニューを選択したかを検出してもよい。
　（変形例に係る表示システム１の構成）
　図７は、本実施形態の変形例に係る表示システム１のブロック図を示し、図８は、変形例に係る表示システム１の概要を示す図であり、以下図７，８を用いて説明を行う。変形例に係る表示システム１は、図１から図６を参照して説明した本実施形態に係る表示システム１と略同一の構成および機能を採るので、略同一の構成および機能の部材に同一の符号を付け、以下相違点を除き説明を省略する。
　変形例に係る表示システム１は、少なくとも１つの化粧道具５０を更に備える。化粧道具５０（５０－１，５０－２，５０－３）は、図８に示すように、ユーザが顔等に化粧するための器具（例えば、口紅又はアイライナー等）または身だしなみを整える等のための器具（例えば、くしまたはコンタクトレンズケース等）であって、人体通信により携帯機器２０に情報を送信する機能を有する。
　また、本変形例において、表示装置１０の表示部１３は、ハーフミラー１３ｂを有さない構成となっている。また、本変形例においては、携帯機器２０は、ユーザが手で保持していなくても、少なくとも人体通信が成立するように保有されていれば、ポケット等に挿入していてもよい。
　化粧道具５０は、メモリ５１と、電極部５２と、人体通信部５３とを備え、携帯機器２０との間で人体通信により情報を送受信する機能を実現する。
　メモリ５１は、不揮発性のメモリであってよく、当該化粧道具５０を特定するためのデータを記憶する。また、メモリ５１は、化粧道具５０が使用される体の部位（例えば、目、口、まつ毛、眉毛、頬）に関する情報、および、その部位が体の左右に存在するかどうかの情報を記憶する。
　電極部５２は、信号電極とグランド電極とを有し、携帯機器２０との間でユーザを介した人体通信により信号を授受する。電極部５２は、例えば図９に示すように、ユーザが当該化粧道具を手にとった場合において手に触れやすい位置に複数設けられている。なお、電界方式の人体通信においては、電極部５２は、プラスチックまたは樹脂等で形成された筐体の内部に設けられていてもよい。また、電極部５２の配置は、図９に示す位置に限らず、ユーザの手に触れやすい位置であればどこであってもよい。
　人体通信部５３は、メモリ５１及び電極部５２に接続され、バンドパスフィルタを有した電気回路から構成される送信部を有し、送信するデータを変調して送信信号を生成する。なお、人体通信部５３は、データを受信する機能を有していてもよい。人体通信部５３は、ユーザが化粧道具５０を保持して電極に接触したときに、携帯機器２０の人体通信部２９との間で人体通信を成立させる。そして、人体通信部５３は、人体通信が成立すると、メモリ５１に記憶されたデータをユーザの体を介して携帯機器２０に対して送信する。
　（変形例に係る表示システム１の処理フロー）
　図１０は、変形例に係る表示装置１０の制御部１９の処理フローを示す。本フローチャートは、ユーザがアイシャドウ用チップなどの化粧道具５０を持って、化粧道具５０と携帯機器２０との間で人体通信が成立し、携帯機器２０の制御部３２がこの人体通信の成立を表示装置１０に送信されたときに開始される。
　まず、ステップＳ３１において、制御部１９は、携帯機器２０と化粧道具５０との間で人体通信が成立したことの通知を受けたことの確認をする。制御部１９は、人体通信が成立したタイミングで処理をステップＳ３２に移行する。なお、人体通信や無線通信が成立した際には携帯機器２０の振動部３１が振動するため、ユーザは携帯機器２０をポケットに入れてある場合でも通信の成立を認識することができる。
　続いて、ステップＳ３２において、制御部１９は、撮像部１１によりユーザを撮像した画像を解析して、画像内においてユーザの顔を検出する。制御部１９は、一例として、画像解析処理により、ユーザの顔の輪郭、並びに、顔の各部位（目、鼻及び口等）の位置及び形状等を検出する。
　続いて、ステップＳ３３において、制御部１９は、人体通信の成立に応じて化粧道具５０から携帯機器２０へと送信された化粧道具５０のメモリ５１内の情報（化粧道具５０を特定するための情報）を無線通信により携帯機器２０から受信して、ユーザが手に持っている化粧道具５０の種類を特定する。例えば、制御部１９は、ユーザが手に持っている化粧道具５０が、アイライナーなのか、口紅なのか等を特定する。なお、制御部１９は、ステップＳ３２とステップＳ３３とを入れ替えて実行してもよい。
　続いて、ステップＳ３４において、制御部１９は、特定した化粧道具５０が、左右が有る部位に対して使用される道具なのか否かを判断する。制御部１９は、例えば、特定した化粧道具５０が、目、眉毛、まつ毛、頬および耳等に対して使用される場合には、左右が有る部位に対して使用されると判断する。また、制御部１９は、特定した化粧道具５０が、口および鼻等に使用される場合には、左右の無い部位に対して使用されると判断する。
　制御部１９は、一例として、人体通信の成立に応じて化粧道具５０から携帯機器２０へと送信されたメモリ５１内の情報（部位が体の左右に存在するかの情報）に基づき、左右が有る部位に対して使用される道具なのか否かを判断する。また、制御部１９は、特定した化粧道具５０の種類から、左右が有る部位に対して使用される道具なのか否かを推定してもよい。
　特定した化粧道具５０が左右の無い体の部位に対して使用される場合、制御部１９は、処理をステップＳ３５に進める。
　ステップＳ３５において、制御部１９は、ユーザの顔の画像、及び、特定した化粧道具５０が使用される体の部位を拡大した画像を並べて表示部１３に表示させる。例えば、図１１（Ａ）に示すように、制御部１９は、化粧道具５０が口紅と特定された場合には、顔の全体を表す分割画像６１と、口の拡大画像６２とを、左右に分割して表示部１３に表示させる。
　なお、制御部１９は、何れの部位を拡大して表示するかは、人体通信の成立に応じて化粧道具５０から携帯機器２０へと送信されたメモリ５１内の情報（化粧道具５０が使用される部位の情報）に基づき判断してもよいし、特定した化粧道具５０の種類から推定してもよい。制御部１９は、ステップＳ３５の表示処理を終えると、処理をステップＳ４０に進める。
　特定した化粧道具５０が左右の有る体の部位に対して使用される場合、制御部１９は、処理をステップＳ３６に進める。
　ステップＳ３６において、制御部１９は、ユーザの顔の画像、及び、特定した化粧道具５０が使用される部位（左右の部位の両方を含む領域）を拡大した画像を並べて表示部１３に表示させる。例えば、図１１（Ｂ）に示すように、制御部１９は、化粧道具５０がアイライナーと特定された場合には、顔の全体を表す分割画像６１と、両目を含む領域の拡大画像６３とを、左右に分割して表示部１３に表示させる。なお、制御部１９は、顔全体の画像または両目の拡大画像のいずれか一方を表示部１３の中央に表示してもよい。
　続いて、ステップＳ３７において、制御部１９は、ユーザが左の部位と右の部位のどちらに対して化粧を行うかを、撮像部１１によりユーザを撮像した画像に基づき判別する。例えば、制御部１９は、化粧道具５０がアイライナーであれば、ユーザが右目または左目の何れに対して化粧を行うのかを判別する。
　図１２（Ａ）はユーザが化粧道具５０を右手で保持して右目の化粧を行なっている状態を示し、図１２（Ｂ）はユーザが化粧道具５０を右手で保持して左目の化粧を行なっている状態を示す。アイシャドウ用チップまたはアイライナーを持ってユーザが右目に対して化粧をする場合、ユーザは一般的に右目を閉じる。従って、制御部１９は、撮像した画像に基づき、右目を閉じているか左目を閉じているかを判断し、右目を閉じていれば右目に対して化粧を行っており、左目を閉じていれば左目に対して化粧を行っていると判断してもよい。
　また、アイライナーを右手で持って右目の化粧をする場合には、鼻は隠れないが、アイライナーを右手で持って左目の化粧をする場合には、鼻の一部が隠れる。また、制御部１９は、アイライナーを右手又は左手の何れで持っているかは、アイライナーの角度を検出することにより判断することができる。従って、制御部１９は、撮像した画像に基づき、アイライナーの角度から右手に持っているか否かを検出し、更にユーザの鼻が隠れたか否かを検出して、ユーザが右目に対して化粧を行っているのか、左目に対して化粧を行っているのかを判断してもよい。
　また、化粧道具５０は、加速度センサまたはジャイロ等を有してもよい。この場合、制御部１９は、加速度センサまたはジャイロの検出結果を取得して化粧道具５０の姿勢または移動方向を予測し、右の部位に対して化粧を行うのか、左の部位に対して化粧を行うのかを判断してもよい。
　続いて、ステップＳ３８において、制御部１９は、右側の部位または左側の部位のうち、ステップＳ３７で判別した側の部位を拡大して表示する。例えば、制御部１９は、図１３に示すように、左目に対して化粧を行っていると判断した場合には、左目の拡大画像６４を表示する。また、制御部１９は、左目に対して化粧を行った後に、右眼に対して化粧を行っていると判断した場合には、左目の拡大画像６４から右眼の拡大画像に表示を切り替える。
　続いて、ステップＳ３９において、制御部１９は、左の部位および右の部位の両方について化粧を終了したか否かを判断する。例えば、制御部１９は、ユーザが左側の部位および右側の部位のそれぞれに対して化粧を終えて、化粧道具５０を手放して化粧道具５０と携帯機器２０との人体通信が切れたときに、左側の部位および右側の部位の両方について化粧を終了したと判断する。制御部１９は、一方側の部位しか化粧を終了していない場合、処理をステップＳ３７に戻して、左右の部位の両方について処理を終了するまで処理を繰り返す。
　なお、例えば右側の部位の化粧を終えた後において、左側の部位の化粧をしているときに、左右のバランスが気になることもある。このような場合、制御部１９は、例えばユーザの指示に応じて、表示される拡大画像を左右切り換えてもよい。また、制御部１９は、ユーザの指示に応じて、顔の全体像に代えて、両方の部位の全体を含む表示に切り換えたり、右側の部位の拡大画像及び左側の部位の拡大画像を同時に表示したりしてもよい。
　また、制御部１９は、メモリ部１５に流行のメーク例を示す画像データを記憶させておき、ユーザの顔画像の上に、仮想線および仮想色を重ねて表示させてもよい。また、制御部１９は、メモリ部１５に代表的な髪型と、その髪型に合うメーク例を示す化粧データを記憶させておき、撮像部１１により撮像された画像からユーザの髪型を判別して、メモリ部１５に記憶された髪型に対応したメーク例を表示することによりアドバイスを提供するようにしてもよい。この場合、制御部１９は、年齢、季節および服装等に対応付けて、複数の化粧データをメモリ部１５に記憶させておいてもよい。
　制御部１９は、左側の部位および右側の部位の両方について化粧を終了したと判断した場合、処理をステップＳ４０に進める。
　ステップＳ４０において、制御部１９は、化粧道具５０が変更されたかどうかを判断する。制御部１９は、他の化粧道具５０に変更された場合（例えばアイライナーから眉の形を描くアイブロウペンシルに変更された場合）、処理をステップＳ３３に戻して、処理を繰り返す。また、制御部１９は、化粧道具５０が変更されずに、化粧道具５０と携帯機器２０との人体通信が予め定められた時間（例えば数十秒から１分程度）無い場合には、化粧を終了したとして本フローチャートを終了する。
　なお、本変形例においては、携帯機器２０を介在させて、化粧道具５０と表示装置１０との通信を行ったが、表示システム１は、化粧道具５０と表示装置１０との間で人体通信または近距離無線通信を成立させて通信を行うようにしてもよい。また、携帯機器２０にミラー機能（例えば、表示部２１にハーフミラーフィルムを貼り付けて実現する）を設けて、化粧道具５０と携帯機器２０との間で人体通信又は近接通信を成立させて通信を行ってもよい。この場合、この場合、携帯機器２０の撮像部２５を駆動機構により駆動させて、ユーザを撮像する位置を調整してもよい。
　また、表示システム１は、化粧後のユーザの画像を例えば携帯機器２０のフラッシュメモリ２７に記憶させて、メークの履歴を保存してもよい。また、表示システム１は、ユーザの過去のメークの履歴をアドバイスとして表示してもよい。また、表示システム１は、保存したメークの履歴からユーザに似合う色であるパーソナルカラーをユーザに報知したりしてもよい。
　なお、上述では化粧道具５０を例にしてユーザが手にした部材に応じた表示制御を説明したが、化粧道具５０に代えバット、ゴルフクラブ、テニスラケットといたスポーツの際に使用する道具でも構わない。すなわち、ユーザがスイングやフォームを表示装置１０により確認することに適用することができる。具体的には、制御部１９は、ユーザの全体を表す分割画像６１と、手にした道具の時系列の拡大画像６２とを表示部１３に表示する。図１４（Ａ）は１つの拡大画像を表示している状態を示し、図１４（Ｂ）は拡大画像を時系列で複数表示させている状態を示す。この場合、制御部１９は、図１４（Ａ）に示すように拡大画像を１つ表示してもよく、図１４（Ｂ）に示すように拡大画像６２を時系列に複数表示してもよく（拡大しなくてもよい）、これにより、ユーザは例えばゴルフクラブのヘッドの位置や開き具合などを表示装置１０により表示することができる。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１　表示システム、１０　表示装置、１１　撮像部、１２　駆動部、１３　表示部、１３ａ　ディスプレイ、１３ｂ　ハーフミラー、１４　画像調整部、１５　メモリ部、１５ａ　バッファメモリ、１５ｂ　フラッシュメモリ、１６　電極部、１７　人体通信部、１８　無線通信部、１９　制御部、２０　携帯機器、２１　表示部、２２　タッチパネル、２３　センサ部、２３ａ　ＧＰＳモジュール、２３ｂ　姿勢センサ、２３ｃ　方位センサ、２４　計時部、２５　撮像部、２６　マイクロフォン、２７　フラッシュメモリ、２８　電極部、２９　人体通信部、３０　無線通信部、３１　振動部、３２　制御部、４０　方位情報、４１Ｒ　右操作マーク、４１Ｌ　左操作マーク、５０　化粧道具、５１　メモリ、５２　電極部、５３　人体通信部、６１　分割画像、６２　拡大画像、６３　拡大画像、６４　拡大画像

Claims (25)

  1. 　ユーザが手にした第１部材に関する情報を入力する入力部と、
    　前記入力部が入力した情報に基づいて、表示部の表示を制御する制御部と、を備えた電子機器。
  2. 　前記ユーザと、前記第１部材とを撮像可能な撮像部を備えた請求項１に記載の電子機器。
  3. 　前記ユーザが手にした第１部材に応じて、前記撮像部が撮像した画像を調整する画像調整部を備えた請求項２に記載の電子機器。
  4. 　前記画像調整部は、前記撮像部が撮像した画像のサイズと、表示領域との少なくとも一方を調整する請求項３に記載の電子機器。
  5. 　前記第１部材に関する情報に基づいて、前記第１部材が前記ユーザの体のどの部位で使用されるかを判別する判別部を備える請求項２に記載の電子機器。
  6. 　前記判別部は、前記第１部材が前記ユーザの左側の部位と、右側の部位とのいずれで使用されるかを判別する請求項５に記載の電子機器。
  7. 　前記制御部は、前記入力部が入力した情報に基づいて、表示画面の分割表示の制御をする請求項１から６のいずれか一項に記載の電子機器。
  8. 　前記制御部は、前記表示画面の第１領域に前記ユーザの顔を表示させ、前記表示画面の第２領域に前記ユーザの顔の一部を表示させる請求項７に記載の電子機器。
  9. 　前記制御部は、前記第２領域に表示させる前記ユーザの顔の一部を拡大して表示させる請求項８に記載の電子機器。
  10. 　前記制御部は、前記表示部の表示に重畳して、前記第１部材に関連する表示を行う請求項１から９のいずれか一項に記載の電子機器。
  11. 　前記第１部材と近距離通信または人体を介した通信を行なう第１通信部を備えた請求項１から１０のいずれか一項に記載の電子機器。
  12. 　コンピュータを請求項１から請求項１１のいずれか一項に記載の電子機器として機能させるためのプログラム。
  13. 　ユーザが手にした第１部材に関する情報を入力する入力ステップと、
    　前記入力ステップにおいて入力した情報に基づいて、表示部の表示を制御する制御ステップと、を有する方法。
  14. 　ユーザが手にした第１部材に関する情報を入力する入力部と、
    　前記入力部が入力した情報に基づいて、前記ユーザの動きを予測する予測部と、を備えた電子機器。
  15. 　前記第１部材は体の特定部位に対して使用される道具であり、
    　前記予測部は、前記入力部が入力した情報に基づいて前記第１部材を識別し、前記ユーザが前記第１部材を用いて作業をする対象となる体の部位を判別する
    請求項１４に記載の電子機器。
  16. 　前記第１部材と近距離通信または人体を介した通信を行なう第１通信部を備えた請求項１４または１５に記載の電子機器。
  17. 　前記人体を介した通信とは異なる通信方式で外部機器と通信を行う第２通信部を備える請求項１６に記載の電子機器。
  18. 　携帯機器と通信を行う第３通信部を備え、
    　前記入力部は、前記第３通信部を介して前記携帯機器から前記第１部材に関する情報を入力する請求項１４から１７のいずれか一項に記載の電子機器。
  19. 　前記第１部材に関する情報を提供する情報提供部を備えた請求項１４から１８のいずれか一項に記載の電子機器。
  20. 　前記第１部材の使用履歴を記憶する記憶部を備えた請求項１４から１９のいずれか一項に記載の電子機器。
  21. 　前記ユーザと、前記第１部材とを撮像可能な撮像部を備えた請求項１４から２０のいずれか一項に記載の電子機器。
  22. 　前記予測部は、前記撮像部の撮像結果に基づいて、前記ユーザの動きを予測する請求項２１記載の電子機器。
  23. 　前記予測部は、前記第１部材に関する情報と、前記撮像部の撮像結果とに基づいて、前記ユーザの動きを予測する請求項２２に記載の電子機器。
  24. 　前記予測部は、前記撮像部の撮像結果に基づいて、左右に関する体の部位を予測する請求項２１または２２に記載の電子機器。
  25. 　前記撮像部は前記ユーザの顔を撮像可能であり、
    　前記予測部は、前記撮像部が撮像したユーザの顔に基づいて、前記ユーザの動きを予測する請求項２１から２４のいずれか一項に記載の電子機器。
PCT/JP2013/003092 2012-08-06 2013-05-15 電子機器、方法およびプログラム WO2014024362A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201380034704.4A CN104395875A (zh) 2012-08-06 2013-05-15 电子设备、方法及程序
JP2014529254A JPWO2014024362A1 (ja) 2012-08-06 2013-05-15 電子機器、方法およびプログラム
US14/616,084 US20150253873A1 (en) 2012-08-06 2015-02-06 Electronic device, method, and computer readable medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012-173880 2012-08-06
JP2012173879A JP2014033398A (ja) 2012-08-06 2012-08-06 電子機器
JP2012-173879 2012-08-06
JP2012173880 2012-08-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/616,084 Continuation US20150253873A1 (en) 2012-08-06 2015-02-06 Electronic device, method, and computer readable medium

Publications (1)

Publication Number Publication Date
WO2014024362A1 true WO2014024362A1 (ja) 2014-02-13

Family

ID=50067634

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/003092 WO2014024362A1 (ja) 2012-08-06 2013-05-15 電子機器、方法およびプログラム

Country Status (3)

Country Link
US (1) US20150253873A1 (ja)
CN (1) CN104395875A (ja)
WO (1) WO2014024362A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10063780B2 (en) * 2010-06-02 2018-08-28 Shan-Le Shih Electronic imaging system for capturing and displaying images in real time
CN103489107B (zh) * 2013-08-16 2015-11-25 北京京东尚科信息技术有限公司 一种制作虚拟试衣模特图像的方法和装置
US20160357578A1 (en) * 2015-06-03 2016-12-08 Samsung Electronics Co., Ltd. Method and device for providing makeup mirror
FR3044495A1 (fr) * 2015-11-30 2017-06-02 Orange Dispositif et procede de communication sans fils
WO2018020884A1 (ja) * 2016-07-27 2018-02-01 ソニーセミコンダクタソリューションズ株式会社 端末機器、および機器システム
KR20180035434A (ko) * 2016-09-29 2018-04-06 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
US10157308B2 (en) * 2016-11-30 2018-12-18 Whirlpool Corporation Interaction recognition and analysis system
US10762641B2 (en) 2016-11-30 2020-09-01 Whirlpool Corporation Interaction recognition and analysis system
US11234280B2 (en) * 2017-11-29 2022-01-25 Samsung Electronics Co., Ltd. Method for RF communication connection using electronic device and user touch input
US11257142B2 (en) 2018-09-19 2022-02-22 Perfect Mobile Corp. Systems and methods for virtual application of cosmetic products based on facial identification and corresponding makeup information
US11386621B2 (en) 2018-12-31 2022-07-12 Whirlpool Corporation Augmented reality feedback of inventory for an appliance

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11112970A (ja) * 1997-10-08 1999-04-23 Sony Corp メイク機能付きテレビジョン受像機
JP2004312263A (ja) * 2003-04-04 2004-11-04 Sony Corp ドアホンシステム，ドアホン装置，およびドアホンユニット
JP2005005791A (ja) * 2003-06-09 2005-01-06 Fuji Photo Film Co Ltd 電子カメラ
JP2005123991A (ja) * 2003-10-17 2005-05-12 Matsushita Electric Works Ltd 撮像システム
JP2011211598A (ja) * 2010-03-30 2011-10-20 Sony Corp 撮像システムおよび撮像装置
JP4934758B1 (ja) * 2011-03-07 2012-05-16 株式会社ノングリッド 電子ミラーシステム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070040033A1 (en) * 2005-11-18 2007-02-22 Outland Research Digital mirror system with advanced imaging features and hands-free control
US7916129B2 (en) * 2006-08-29 2011-03-29 Industrial Technology Research Institute Interactive display system
CN102197918A (zh) * 2010-03-26 2011-09-28 鸿富锦精密工业（深圳）有限公司 化妆镜调整系统、方法及具有该调整系统的化妆镜
JP5653206B2 (ja) * 2010-12-27 2015-01-14 日立マクセル株式会社 映像処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11112970A (ja) * 1997-10-08 1999-04-23 Sony Corp メイク機能付きテレビジョン受像機
JP2004312263A (ja) * 2003-04-04 2004-11-04 Sony Corp ドアホンシステム，ドアホン装置，およびドアホンユニット
JP2005005791A (ja) * 2003-06-09 2005-01-06 Fuji Photo Film Co Ltd 電子カメラ
JP2005123991A (ja) * 2003-10-17 2005-05-12 Matsushita Electric Works Ltd 撮像システム
JP2011211598A (ja) * 2010-03-30 2011-10-20 Sony Corp 撮像システムおよび撮像装置
JP4934758B1 (ja) * 2011-03-07 2012-05-16 株式会社ノングリッド 電子ミラーシステム

Also Published As

Publication number Publication date
US20150253873A1 (en) 2015-09-10
CN104395875A (zh) 2015-03-04

Similar Documents

Publication Publication Date Title
WO2014024362A1 (ja) 電子機器、方法およびプログラム
KR102458665B1 (ko) 디바이스를 이용한 화면 처리 방법 및 장치
JP6400197B2 (ja) ウェアラブル装置
CN105759422B (zh) 显示系统和显示装置的控制方法
CN107743189B (zh) 显示控制装置和显示控制方法
KR20160015719A (ko) 이동 단말기 및 그 제어방법
WO2011148544A1 (ja) 携帯型電子機器
US9412190B2 (en) Image display system, image display apparatus, image display method, and non-transitory storage medium encoded with computer readable program
KR20170067058A (ko) 이동 단말기 및 그 제어방법
KR20160148374A (ko) 이동 단말기 및 이의 제어방법
KR102110208B1 (ko) 안경형 단말기 및 이의 제어방법
CN105103536A (zh) 成像设备、成像方法以及程序
KR102240639B1 (ko) 글래스 타입 단말기 및 그것의 제어 방법
CN109166150B (zh) 获取位姿的方法、装置存储介质
JP5872185B2 (ja) 携帯型電子機器
JP6136090B2 (ja) 電子機器、及び表示装置
CN111862148A (zh) 实现视觉跟踪的方法、装置、电子设备及介质
CN106843479A (zh) 控制目标设备切换状态的方法及装置、电子设备
JP6051665B2 (ja) 電子機器、方法およびプログラム
CN113763460A (zh) 经颅磁刺激线圈的定位方法、装置及系统
CN108509127A (zh) 启动录屏任务的方法、装置及计算机设备
JP2014033398A (ja) 電子機器
JP2016126589A (ja) 表示システム、プログラム、及び、表示装置の制御方法
JP2017142857A (ja) 入力装置
CN114115544B (zh) 人机交互方法、三维显示设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13827750

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014529254

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13827750

Country of ref document: EP

Kind code of ref document: A1