WO2013145387A1 - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
WO2013145387A1
WO2013145387A1 PCT/JP2012/075928 JP2012075928W WO2013145387A1 WO 2013145387 A1 WO2013145387 A1 WO 2013145387A1 JP 2012075928 W JP2012075928 W JP 2012075928W WO 2013145387 A1 WO2013145387 A1 WO 2013145387A1
Authority
WO
WIPO (PCT)
Prior art keywords
clothes
unit
user
information
camera
Prior art date
Application number
PCT/JP2012/075928
Other languages
English (en)
French (fr)
Inventor
冨井宏美
山本彩恭子
松村光子
鮫島冴映子
中村弥恵
関口政一
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2012072217A external-priority patent/JP2013205969A/ja
Priority claimed from JP2012072216A external-priority patent/JP2013207407A/ja
Priority claimed from JP2012072215A external-priority patent/JP2013207406A/ja
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to CN201280071880.0A priority Critical patent/CN104247393A/zh
Priority to US14/389,049 priority patent/US20150084984A1/en
Priority to IN7947DEN2014 priority patent/IN2014DN07947A/en
Publication of WO2013145387A1 publication Critical patent/WO2013145387A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet

Definitions

  • the present invention relates to an electronic device.
  • the conventional life log system does not sufficiently reduce the complexity of the user's input work and is not easy to use.
  • the present invention has been made in view of the above-described problems, and an object thereof is to provide an easy-to-use electronic device.
  • An electronic apparatus includes a first camera provided in a main body, a second camera provided in a position different from the first camera of the main body, and a first posture that detects the posture of the main body.
  • control unit may prohibit imaging by at least one of the first and second cameras according to a detection result of the first attitude detection sensor.
  • the first camera may be provided on a first surface of the main body, and the second camera may be provided on a second surface different from the first surface.
  • the first surface of the main body may be provided with at least one of an operation unit and a display unit.
  • a second posture detection sensor for detecting the posture of the user carrying the main body may be provided.
  • the control unit may change at least one of the imaging condition of the second camera and the processing after imaging of the second camera according to the detection result of the second attitude detection sensor. .
  • a distance sensor for detecting a distance from the user holding the main body may be provided.
  • the control unit can perform imaging with at least one of the first and second cameras when the user holds the main body.
  • the main body part may be provided with a biosensor for acquiring biometric information.
  • the electronic device of the present invention may include a combining unit that combines an image captured by the first camera and an image captured by the second camera.
  • the electronic device of the present invention may include a third camera provided at a position different from the first camera on the surface of the main body where the first camera is provided.
  • the electronic device of the present invention may include a memory that stores data relating to the dressing.
  • a comparison unit that compares data stored in the memory with image data captured by the first and second cameras may be provided.
  • the electronic device of the present invention may include an acquisition unit that acquires data related to dressing from an external device.
  • the electronic device of the present invention includes a motion detection sensor that detects a user's movement, a posture detection sensor that detects a posture of a main body, a processing unit that is provided in the main body and performs processing, and the motion detection sensor And a control unit that controls processing by the processing unit based on detection results from the posture detection sensor.
  • control unit may perform the process by the processing unit when the output of the motion detection sensor becomes smaller than a predetermined value.
  • the processing unit may be an imaging unit that performs imaging.
  • the electronic apparatus of the present invention includes an acquisition unit that acquires image data obtained by capturing a user's clothes, and a determination unit that determines a combination of the clothes based on the image data.
  • an imaging unit provided in the main body unit may be provided, and the imaging unit may capture the clothes of the user when the main body unit is held by the user. Further, the determination unit may determine the combination of clothes based on color information of the image data. Further, a face recognition unit for recognizing the user's face based on the image data may be provided.
  • the determination unit can detect the overlap of clothes based on the image data.
  • the determination unit may detect the overlap of the clothes based on the collar portion of the clothes.
  • determination part can detect the overlap of the said clothes based on the detection result of the said user's skin.
  • determination part can detect the overlap of the said clothing based on the difference in the pattern when the clothing part of the said image data is expanded.
  • the imaging unit may include a first camera and a second camera provided at a position away from the first camera by a predetermined distance.
  • the first camera and the second camera may be provided on different surfaces.
  • the electronic device of this invention may be provided with the memory which memorize
  • the memory may record the frequency of the clothes combination.
  • the determination unit may determine at least one of a user's hairstyle and a decoration worn by the user based on the image data.
  • the electronic apparatus of the present invention includes a memory that stores information about clothes that the user has, and an input unit that inputs information about clothes that are not stored in the memory.
  • a display unit may be provided that displays information about clothes stored in the memory in accordance with information about clothes input to the input unit.
  • the display unit displays information on clothes of a second category different from the first category from the memory when the information on clothes input to the input unit is the first category. It can be.
  • the display unit can display a combination of information about clothes input to the input unit and information about clothes stored in the memory.
  • the information processing apparatus further includes a detection unit that detects information about clothes similar to the information about clothes input to the input unit from the information about clothes stored in the memory, and the display unit is detected by the detection unit. The similar clothes information may be displayed.
  • you may provide the body shape change detection part which detects the change of the said user body shape.
  • the electronic device of the present invention includes an acquisition unit that acquires information about clothes of people other than the user, and an input unit that inputs information about clothes specified by the user.
  • a comparison unit that compares information about clothes of people other than the user and information about clothes specified by the user may be provided. Moreover, you may provide the display part which displays the comparison result by the said comparison part.
  • the information input to the input unit includes information about the hue of the clothes, and a first extraction that extracts information on the hue that is the same as or close to the hue from the clothes information stored in the memory May be provided.
  • the information input to the input unit includes information about the size of the clothes, and includes a second extraction unit that extracts information according to the size from the information about the clothes stored in the memory. It may be.
  • the second extraction unit may extract information on clothes in the same category as the clothes input to the input unit.
  • the second extraction unit may extract information on clothes in a category different from the clothes input to the input unit.
  • the information input to the input unit includes information about the clothes pattern, and the information of the clothes is stored in the memory according to the pattern. You may provide the control part which controls extraction.
  • the present invention has an effect that it is possible to provide a user-friendly electronic device.
  • FIG. 2A is a diagram showing a state in which the mobile terminal is viewed from the front side ( ⁇ Y side), and FIG. 2B is a diagram illustrating a state in which the mobile terminal is viewed from the back side (+ Y side). .
  • 4A is a diagram illustrating the distance between the imaging unit 30 and the user
  • FIG. 4B is a diagram for explaining the focal length of the first camera
  • FIG. 5A to FIG. 5F are diagrams showing examples of user clothes. It is a flowchart of the process which detects a user's dressing. It is a flowchart which shows the process for alert
  • FIG. 1 is a block diagram showing the configuration of an information processing system 200 according to an embodiment.
  • the information processing system 200 includes a mobile terminal 10 and an external device 100 as shown in FIG.
  • the mobile terminal 10 and the external device 100 are connected to a network 80 such as the Internet.
  • the mobile terminal 10 is an information device that is used while being carried by a user.
  • a mobile phone, a smart phone, a PHS (Personal Handy-phone System), a PDA (Personal Digital Assistant), or the like can be adopted.
  • the mobile terminal 10 is a smartphone. To do.
  • the mobile terminal 10 has a telephone function, a communication function for connecting to the Internet, etc., a data processing function for executing a program, and the like.
  • FIG. 2A is a diagram illustrating a state in which the mobile terminal 10 is viewed from the front side ( ⁇ Y side), and FIG. 2B is a diagram illustrating a state in which the mobile terminal 10 is viewed from the back side (+ Y side). It is.
  • the mobile terminal 10 has a thin plate shape having a rectangular main surface ( ⁇ Y surface), and is large enough to be held by the palm of one hand. have.
  • FIG. 3 shows a block diagram of the mobile terminal 10 and the external device 100.
  • the mobile terminal 10 includes a display 12, a touch panel 14, a calendar unit 16, a communication unit 18, a sensor unit 20, an imaging unit 30, an image analysis unit 40, and a flash memory 50. And a control unit 60.
  • the display 12 is provided on the main surface ( ⁇ Y surface) side of the main body 11 of the mobile terminal 10 as shown in FIG.
  • the display 12 has a size that occupies most of the area (for example, 90%) of the main surface of the main body 11.
  • the display 12 displays images, various information, and operation input images such as buttons.
  • the display 12 is a device using a liquid crystal display element.
  • the touch panel 14 is an interface through which information corresponding to the touch by the user can be input to the control unit 60. As shown in FIG. 2A, the touch panel 14 is incorporated in the surface of the display 12 or in the display 12, so that the user intuitively inputs various information by touching the surface of the display 12. be able to.
  • the calendar unit 16 acquires time information such as year, month, day, and time and outputs the time information to the control unit 60. Note that the calendar unit 16 further has a timekeeping function.
  • the communication unit 18 communicates with the external device 100 on the network 80.
  • the communication unit 18 includes a wireless communication unit that accesses a wide area network such as the Internet, a Bluetooth (registered trademark) unit that realizes communication using Bluetooth (registered trademark), a FeliCa (registered trademark) chip, and the like. It communicates with the external device 100 and other portable terminals.
  • the sensor unit 20 has various sensors.
  • the sensor unit 20 includes a GPS (Global Positioning System) module 21, a biological sensor 22, a posture sensor 23, a thermohygrometer 24, and an acceleration sensor 25.
  • GPS Global Positioning System
  • the GPS module 21 is a sensor that detects the position (for example, latitude and longitude) of the mobile terminal 10.
  • the biosensor 22 is provided at two places on the back surface of the main body 11 of the mobile terminal 10 as an example, and indicates the state of the user holding the mobile terminal 10. It is a sensor to acquire. As an example, the biosensor 22 acquires a user's body temperature, blood pressure, pulse, sweat rate, and the like. As an example of such a biosensor 22, light is emitted from a light emitting diode toward a user as disclosed in Japanese Patent Application Laid-Open No. 2001-276012 (US Pat. No. 6,526,315). A sensor that detects a pulse by receiving light reflected from a user according to light, or a wristwatch-type biosensor disclosed in Japanese Patent Application Laid-Open No. 2007-215749 (US Publication No. 2007-191718). Can be adopted.
  • the biosensor 22 may be provided on the front side of the main body 11 or on the long side.
  • the biological sensor 22 it is assumed that the user has a sensor (pressure sensor) for acquiring information (for example, gripping force) related to the force holding the mobile terminal 10.
  • a pressure sensor can detect that the user holds the mobile terminal 10 and the magnitude of the force that holds the mobile terminal 10.
  • the control part 60 mentioned later may start acquisition of the information by another biological sensor in the stage which detected that the user hold
  • the control unit 60 turns on other functions (or returns from the sleep state) when the pressure sensor detects that the user holds the mobile terminal 10 while the power is on. Such control may be performed.
  • the attitude sensor 23 is provided inside the mobile terminal 10 and detects the attitudes of a first camera 31, a second camera 32, and a third camera 33, which will be described later, by detecting the attitude of the mobile terminal 10.
  • a configuration in which a plurality of sensors that detect the attitude in the uniaxial direction depending on whether or not the small sphere moving by gravity blocks the infrared light of the photo interrupter can be adopted.
  • the orientation sensor 23 may be a triaxial acceleration sensor, a gyro sensor, or the like.
  • thermohygrometer 24 is an environmental sensor that detects the ambient temperature of the mobile terminal 10. Note that a thermometer and a hygrometer may be separately provided in the mobile terminal 10 instead of the thermohygrometer 24. Note that the thermohygrometer 24 may be configured to also serve as a function of detecting the body temperature of the user by the biosensor 22.
  • the acceleration sensor 25 can use a piezoelectric element or a strain gauge. In the present embodiment, the acceleration sensor 25 detects whether the user is standing or sitting.
  • the acceleration detection axis by the acceleration sensor 25 is in the Z-axis direction in FIG. Note that an acceleration sensor having the X axis and Y axis in FIG. 2A as detection axes may be provided. In this case, the user's moving direction can be detected by the acceleration sensor.
  • a method for detecting whether a user is standing, sitting, walking, or running using an acceleration sensor is disclosed in, for example, Japanese Patent No. 3513632 (Japanese Patent Laid-Open No. Hei 8-131425). Yes. Further, a gyro sensor that detects angular velocity in place of the acceleration sensor 25 or in combination with the acceleration sensor 25 may be used.
  • the imaging unit 30 is a first unit provided above (+ Z direction) the display 12 on the main surface (surface on the ⁇ Y side) of the main body 11.
  • the imaging unit 30 captures an image of a user's situation (for example, dressed) when the user holds (uses) the mobile terminal 10, and acquires a log of the user's situation without forcing the user to perform a special operation. To do.
  • the first camera 31 is a camera that captures an image of the face of the user who is operating the mobile terminal 10 and the surroundings of a hat, tie, accessories, hairstyle, clothes, and the like.
  • the second camera 32 captures the upper body of the user who is operating the mobile terminal 10, and can also capture the lower body of the user depending on the orientation of the mobile terminal 10.
  • the third camera 33 is a camera that captures clothes and feet of the user's lower body.
  • the third camera 33 is provided below the opposite surface of the display 12 (in the vicinity of the end on the ⁇ Z side) in order to capture the clothes and feet of the lower body of the user and not to be covered by the user's hand. It has been.
  • the cameras 31 to 33 included in the image pickup unit 30 have the same basic configuration of having a photographic lens and an image sensor (CCD and CMOS device), but the focal length of the photographic lens is different.
  • a liquid lens may be used as the photographing lens.
  • the image sensor of each camera constituting the imaging unit 30 includes a color filter in which RGB three primary colors are arranged in a Bayer array, and outputs a color signal corresponding to each color.
  • the focal lengths of the cameras 31 to 33 will be described.
  • FIG. 4A is a diagram illustrating the distance between the imaging unit 30 and the user.
  • the third camera 33 is assumed to have the same half field angle and focal length optical system as the first camera 31. Note that the third camera 33 may image the user's feet when the user is standing. In this case, if the half angle of view in the short side direction is about 39.8 °, a foot other than the user may be captured. In such a case, the control unit 60 to be described later leaves only an image in a range where the user is supposed to exist based on the attitude of the third camera 33 (the attitude of the mobile terminal 10 detected by the attitude sensor 23). You may make it trim in this way.
  • control unit 60 can determine that the user is standing based on the output of the acceleration sensor 25, the control unit 60 moves the zoom optical system provided in advance in the third camera 33 in the telephoto direction, You may make it image a user's step. Further, the control unit 60 may not perform (inhibit) imaging by the third camera 33 when the user is standing.
  • first camera 31, the second camera 32, and the third camera 33 may be configured to be movable up and down or left and right so that the user and the user's appearance can be captured in a wider range.
  • the image capturing unit 30 captures an image while the user operates the mobile terminal 10, there is a possibility that the image capturing unit 30 may be affected by camera shake or a vehicle. In such a case, the image capturing unit 30 may capture a plurality of still images and synthesize these plurality of still images to perform a process that eliminates the effects of camera shake and vibration. . Note that the image in this case is not for appreciation but can be used to determine the appearance of the user's clothes, etc., so that the effects of camera shake and vibration can be easily eliminated using commercially available software. That's fine.
  • the image analysis unit 40 analyzes an image captured by the imaging unit 30 and an image stored in the external device 100.
  • the face recognition unit 41, the clothing detection unit 42, and the resizing unit 43 are analyzed.
  • the face recognition unit 41 detects whether or not a face is included in the image captured by the first camera 31. Further, when the face recognition unit 41 detects a face from the image, the face recognition unit 41 compares the detected face image data with the user face image data stored in the flash memory 50 (for example, a pattern). Matching) to recognize the person imaged by the first camera 31.
  • the clothes detection unit 42 detects what the user's appearance (clothes, bags, shoes, etc.) captured by the first camera 31, the second camera 32, and the third camera 33 is. .
  • the clothing detection unit 42 extracts an image of a predetermined range of the lower part of the face recognized by the face recognition unit 41, and the extracted image and the clothing DB (FIG. 5) stored in the flash memory 50.
  • the user's clothes are detected by pattern matching with the image data stored in (see 9).
  • the clothing detection unit 42 also detects the user's clothing by pattern matching the image captured by the second camera 32 and the image data of the clothing DB (FIG. 9) stored in the flash memory 50. be able to.
  • a plurality of partial areas for pattern matching of clothing DB images are extracted from the entire image captured by the imaging unit 30, and a target image (described later) of the clothing DB is extracted for each extracted partial area.
  • Pattern matching may be performed by selecting an outer, an inner, a suit, or the like to be performed).
  • a template image for extracting a partial region from the entire image may be stored in the clothing DB, and first, pattern matching between the entire image and the template image may be performed.
  • the clothing detection unit 42 may detect the representative color of each partial area.
  • the clothing DB is the clothing ID (uniquely assigned identifier) that is extracted from images captured by the cameras 31 to 33 and that the user has worn in the past. It shall be stored together with the type of clothes. In addition to the outer and inner, suits, jackets, Japanese clothes, ties, pocket chiefs, coats, etc. are entered in the clothing type column. Moreover, it is good also as storing the image of the characteristic shape (for example, the shape of a collar part, a short sleeve, a long sleeve) of each clothing as an image of clothing data.
  • the characteristic shape for example, the shape of a collar part, a short sleeve, a long sleeve
  • the control unit 60 obtains clothing data via the communication unit 18 and stores it in the clothing DB. It may be. Further, the control unit 60 may obtain clothes data from an image held by the external device 100 and store the clothes data in the clothes DB.
  • the clothes detection unit 42 compares the clothes of the upper body of the user captured by the first camera 31 and the second camera 32 with the clothes of the lower body of the user captured by the third camera 33, so that the clothes of the user can be determined. You may make it judge whether it is a suit (a jacket and trousers are tailored with the same cloth), or a jacket.
  • the clothes detection unit 42 may have two functions described below ((1) an image composition function and (2) a layering determination function). Each function is achieved by software.
  • the clothing detection unit 42 composes an image captured by the first camera 31 and an image captured by the second camera 32 into one image.
  • the clothing detection unit 42 detects an overlapping portion between the image captured by the first camera 31 and the image captured by the second camera 32, and combines the images based on the overlapping portion.
  • the clothing detection unit 42 may combine the image captured by the first camera 31 and the image captured by the second camera 32 using the clothing data stored in the flash memory 50 as a reference. As described above, when image composition is performed, the clothes detection unit 42 may detect the user's clothes based on the combined image.
  • the clothing detection unit 42 detects (identifies) an inner such as a Y-shirt or T-shirt worn by a user and an outer such as a jacket, a trainer, or a blouson worn outside the inner. Thus, it is determined whether or not they are layered.
  • FIGS. 5 (a) to 5 (f) are diagrams showing examples of the user's clothes
  • FIGS. 5 (a) to 5 (d) show examples of the male clothes
  • FIG. 5F shows an example of female clothes.
  • FIG. 5A shows an example in which the user is wearing a Y-shirt, tie, and suit
  • FIG. 5B shows an example in which the user is wearing a Y-shirt and a suit
  • FIG. 5C shows an example where the user wears a Y-shirt but does not wear a jacket
  • FIG. 5D shows an example where the user wears a polo shirt
  • FIG. 5 (e) shows an example in which the user wears a jacket on a round neck shirt
  • FIG. 5 (f) shows an example in which the user wears a jacket on a dress.
  • the clothing detection unit 42 when the user is wearing a layer, the outer collar is the inner collar. It is located outside. For this reason, the clothing detection unit 42 can determine that the user is wearing layers when detecting images of a plurality of collars. In addition, since the color, pattern, and woven pattern (pattern when the image is enlarged) are often different between the inner and outer, the clothing detection unit 42 is different from the difference in color, pattern, and woven pattern. The determination of layering may be performed. On the contrary, as shown in FIGS. 5C and 5D, the clothing detection unit 42 images the user's arm (the second arm or the forearm excluding the wrist) as shown in FIGS. In some cases, or when a short sleeve is imaged, it may be determined that the user is not wearing a layer.
  • the clothing detection unit 42 determines whether the lower body is the same as the color or pattern of the outerwear. It may be determined that the user is wearing a suit or a dress, and if the user is different, it may be determined that the user is wearing a jacket or shirt.
  • the resizing unit 43 detects the presence / absence of a change in the body shape of the user (whether it is fat, thin, or not changed) based on the image captured by the first camera 31. Specifically, the resizing unit 43 detects the ratio between the distance between both eyes and the contour and shoulder width of the face after being normalized to a certain size using the distance between both eyes of the user as a reference. Note that the resizing unit 43 may warn the user when a sudden change occurs in a short period regarding the contour or shoulder width.
  • the resizing unit 43 by taking a log of the change in the user's figure by the resizing unit 43, for example, whether the same season's clothes from a year ago can be worn, and the clothes that were worn in the previous year when purchasing the clothes You may make it determine (estimate) whether it can wear.
  • the flash memory 50 is a non-volatile semiconductor memory.
  • the flash memory 50 stores a program for controlling the mobile terminal 10 executed by the control unit 60, various parameters for controlling the mobile terminal 10, clothing information (image data), and the like. Furthermore, the flash memory 50 stores various data detected by the sensor unit 20, a clothing DB (see FIG. 9), and a log of data related to clothing and the contour of the user's face (dressing log (see FIG. 10)).
  • the control unit 60 has a CPU and controls the information processing system 200 as a whole.
  • the control unit 60 acquires user's clothes information from an image captured by the image capturing unit 30 when the user is operating the mobile terminal 10, or uses the user's clothes information. Execute various processes (coordinate proposal etc.) based on it.
  • the external device 100 includes a digital camera (hereinafter referred to as a digital camera) 100a, an image server 100b, and a store server 100c. It is assumed that each external device 100 includes a communication unit, a control unit, and a memory as shown in FIG.
  • the digital camera 100a is a digital camera owned by the user or the user's family.
  • the control unit 120a of the digital camera 100a extracts an image in which the user's face is recognized by a face recognition unit (not shown) from the captured images, and transmits the extracted image to the mobile terminal 10 via the communication unit 110a. Or the control part 120a transmits the user's image memorize
  • a face recognition unit not shown
  • the image server 100b is a server having a memory 130b that stores images of a plurality of registered users.
  • the memory 130b is provided with an area (for example, a folder) for storing images for each user, a storage area where only registered users can view images, a storage area where only users permitted by the user can view images, and the image server 100b. It has a storage area that can be browsed by any user registered in.
  • the control unit 120b stores the image in a storage area designated by the registered user.
  • the control unit 120b manages images according to the security level, and transmits images that can be viewed by the user via the communication unit 110b in accordance with registered user operations.
  • an image of the user in response to an operation of the mobile terminal 10 by the user, an image of the user is transmitted from the image server 100b to the mobile terminal 10, and an image relating to clothes among images that can be viewed by anyone is an image. It is assumed that the message is transmitted from the server 100b to the mobile terminal 10.
  • the store server 100c is a server of a store that sells clothes.
  • the memory 130c stores a history of what products the user has purchased.
  • the control unit 120c provides the purchase history information of the user via the communication unit 110c in response to a request from the user.
  • An example of purchase history information is a purchase date, an amount of money, an image of clothes, a color, a size, and material information.
  • the image analysis unit 40 discriminates by item such as inner, outer, hat, tie, accessory, hairstyle, facial contour, etc., but from the detailed information of the clothes purchased from the store side, When it is determined that the items are the same, the items can be associated with information on clothes from the store. Moreover, you may make it acquire the representative image of each item from the store server 100c. If the user has permission, the item usage frequency data may be provided to the store server 100c.
  • FIG. 6 is a flowchart of a process for detecting the user's appearance.
  • the processing in FIG. 6 is started when the biosensor 22 (pressure sensor or the like) detects holding of the mobile terminal 10 by the user, and the user is operating (using) the mobile terminal 10 by the user.
  • the user's appearance is detected without causing the user to perform any special operation.
  • step S ⁇ b> 10 the control unit 60 confirms the situation using the sensor unit 20 in order to determine whether to perform imaging. Specifically, the control unit 60 acquires the position of the user by the GPS module 21, and detects whether the user is standing, sitting, walking, or the like by the biosensor 22 and the acceleration sensor 25. In the following description, it is assumed that the user is sitting on a train and moving.
  • control unit 60 detects the posture of the mobile terminal 10 by the posture sensor 23 and detects the temperature and humidity by the thermohygrometer 24. Further, the control unit 60 acquires the current date and time from the calendar unit 16 and confirms the time when the user was imaged last time.
  • the control unit 60 is performed when the previous imaging is performed toward the company (when commuting (going)), and when the user is on the way home from the company on the same day, It is not necessary to take an image on the assumption that the clothes are the same.
  • the present invention is not limited to this, and it may be determined whether or not the imaging is continued by detecting whether or not the user is in the same clothes when imaging the user in step S14 described later.
  • step S12 the control unit 60 determines whether to perform imaging by the imaging unit 30 based on the situation acquired in step S10.
  • the first camera 31 and the second camera 32 are within the range of the state in which the Z-axis direction of the mobile terminal 10 is oriented in the vertical direction from the state in which the display 12 is tilted by about 70 °, It is assumed that the user can take an image. Further, if the third camera 33 is within the range of the state in which the Z-axis direction of the mobile terminal 10 is inclined about 5 ° from the vertical direction to the direction in which the display 12 is inclined about 90 °, the user's Assume that imaging is possible.
  • the control unit 60 includes an ultrasonic sensor in the sensor unit 20 to measure the distance to the user, and based on the measurement result, each of the first camera 31, the second camera 32, and the third camera 33. It may be determined whether or not imaging is possible.
  • a sensor other than the ultrasonic sensor may be used as a sensor (distance sensor) for measuring the distance.
  • the predetermined acceleration may be obtained from the acceleration (or angular acceleration) when the user walks with the portable terminal 10 held, and is, for example, 1/2 or less of the detected value or 1/3. What is necessary is as follows.
  • the control unit 60 proceeds to step S14 if imaging by at least one camera of the imaging unit 30 is possible. On the other hand, if imaging by the imaging unit 30 is impossible, the entire process of FIG. 6 is terminated (No at Step S12).
  • the control unit 60 detects the state of the user from the output of the acceleration sensor 25, detects the posture of the mobile terminal 10 from the output of the posture sensor 23, and based on the detection results. Therefore, the user is not forced to perform a special operation because the imaging unit 30 performs imaging or does not perform imaging.
  • the functions and applications that can be used in the mobile terminal 10 may be selected or restricted based on the state of the user and the attitude of the mobile terminal 10 as well as the imaging of the imaging unit 30.
  • control unit 60 determines that the user is looking at the display 12 while walking.
  • control unit 60 may be able to view the map information stored in the flash memory 50, but has a low possibility of using an application such as a game.
  • the icon menu display can be enlarged or deleted.
  • the control unit 60 performs imaging by the imaging unit 30.
  • the control unit 60 stores image data captured using at least one of the first camera 31, the second camera 32, and the third camera 33 in the flash memory 50.
  • the control unit 60 uses the image data synthesized by the clothing detection unit 42 (an image obtained by synthesizing a plurality of images captured by the respective cameras, an image captured by the first camera 31 and the second camera 32). It is assumed that an image obtained by combining a captured image) is stored in the flash memory 50.
  • step S15 the image analysis unit 40 performs user face recognition, clothing detection, and resizing processing as described above.
  • control unit 60 selects FIG. It is good also as complete
  • step S16 the control unit 60 determines whether or not to continue imaging after a predetermined time (several seconds to several tens of seconds) has elapsed since the start of imaging.
  • step S16 the control unit 60 determines that the imaging is to be ended if the image composition and the overlay determination by the image analysis unit 40 have been completed.
  • the process returns to step S14, but when the determination in step S16 is negative (when imaging is terminated), the process proceeds to step S17.
  • step S17 the control unit 60 executes the dressing analysis of the user.
  • this dress analysis based on the clothes detection result, the resizing process result, and the clothes DB (FIG. 9), the user's clothes and the accessories worn are identified, and the dress log ( (Inner, outer, hat, tie, and representative colors, accessories, hairstyles (long hair, short hair), contour size information) for each of these items.
  • the dress log (Inner, outer, hat, tie, and representative colors, accessories, hairstyles (long hair, short hair), contour size information) for each of these items.
  • data of one record (record of the same date) of the dress log is registered as much as possible (may be blank in some cases).
  • the dress log in FIG. 10 includes fields of season, date, type, image, representative color, clothing ID, temperature, humidity, contour size, and type.
  • season field a season determined based on the date is input.
  • date field a date acquired from the calendar unit 16 is input.
  • type field the hairstyle and the type of clothing detected by the clothing detection unit 42 are input.
  • image field an image of the clothing DB, a hairstyle based on the processing of the imaging unit 30 and the clothing detection unit 42, and an image for each clothing are input.
  • the representative color of each clothing detected by the clothing detection unit 42 is input as the representative color.
  • temperature and humidity fields the temperature and humidity detected by the thermohygrometer 24 are input.
  • a detection result by the resizing unit 43 is input to the contour size field.
  • the type field the type of clothes (suit, jacket, Japanese clothes, dress, etc.) detected by the clothes detection unit 42 is input.
  • the clothes ID field if data relating to the same clothes as the current clothes are present in the clothes DB, the ID is input based on the clothes DB, but if the data is not present in the clothes DB. , It will be blank.
  • the season field the season determined by the control unit 60 based on the calendar unit 16 and the thermohygrometer 24 is input.
  • the control unit 60 determines whether or not it is necessary to acquire dressing information (clothing information) through communication with the external device 100. In this case, the control unit 60 determines whether it is necessary to acquire dressing information (clothing information) through communication with the external device 100 based on whether there is a dress ID in the dress log that is blank. Judging. In addition, regarding the hairstyle, information acquisition from the external device 100 is not required even if the clothes ID is blank.
  • step S20 the control unit 60 communicates with the external device 100.
  • the control unit 60 communicates with the external device 100 using the communication unit 18 to acquire information about the suit from the external device 100 (store server 100c) and register it in the clothing DB.
  • the digital camera 100a and the image server 100b may not have a clothing analysis function. In such a case, image data after the previous communication may be acquired, or image data may be acquired under the condition of clothes color.
  • step S ⁇ b> 22 the control unit 60 performs the dressing analysis of the user again based on the new clothing data acquired from the external device 100 using the communication unit 18. Thereafter, the control unit 60 ends all the processes in FIG. Even when the determination in step S18 is negative, the control unit 60 ends all the processes in FIG.
  • control unit 60 can take the user's dressed log at an appropriate timing without forcing the user to perform a special operation.
  • the control unit 60 uses the date (or month) information of the calendar unit 16 and the output of the temperature / humidity meter 24 to determine which season each item was used in spring, summer, autumn, and winter. I remember it. That is, it can be said that the dressing log stores the dressing information of the user according to spring, summer, autumn and winter. Since some items are worn for 2 seasons (spring, autumn) and 3 seasons (spring, autumn, winter), memory according to each season is effective.
  • FIG. 7 is a flowchart showing a process for notifying the user of the dressing. The processing in FIG. 7 is assumed to start from a stage when a user request is made after the dressing data for a predetermined period is acquired.
  • step S30 the control unit 60 performs a process of comparing and displaying weekly data. Specifically, the control unit 60 reads out the image data related to the dressing for a total of 8 days of today and the previous week stored in the dressing log, and compares the dress for today and the dress for the previous week. Then, the comparison result is displayed.
  • control unit 60 determines whether the upper body layering pattern has the same day, whether the upper body clothes and the lower body clothes have the same day, the upper body clothes color and the lower body It is compared whether there is the same day with the color of the clothes, and the comparison result is displayed on the display 12. Moreover, the control part 60 displays the ranking of the clothing worn on 8 days including today on the display 12 when there is no same item or after displaying the comparison result. This means that the user was wearing the same clothes on Monday, that there were four combinations of white shirts and black skirts in one week, and that there were few combinations of representative colors for each item. You can know the tendency of proper clothes.
  • step S32 the control unit 60 performs a process of comparing and displaying the monthly data. Specifically, the control unit 60 reads out image data relating to the dressing for 30 days including today, which is stored in the flash memory 50, compares clothes in units of months, and displays the comparison result.
  • the display items are the same as in step S30. However, the present invention is not limited to this. Based on the measurement results of the thermo-hygrometer 24, comparison is made for each similar climate (rainy day, hot day, cold day), and the result is displayed. Also good. Thereby, the user can know whether he was wearing the same clothes on a rainy day, whether clothes were selected according to temperature, or the like.
  • step S34 the control unit 60 performs comparison with past data. Specifically, the control unit 60 compares clothes with the same month / same week in the past (for example, last year, last year) and displays the comparison result. Thereby, the user can confirm whether or not the clothes are the same every year, and can help determine whether or not to purchase clothes. In addition, it is possible to know a change in the preference of clothes, a change in body shape, the presence or absence of clothes that are no longer worn from the detection history of the resizing unit 43. In addition, the same month / week may be used instead of the same month / week.
  • step S36 the control unit 60 inquires of the user whether or not a coordination proposal is necessary.
  • the control unit 60 displays an inquiry message on the display 12. And based on operation of the touch panel 14 by a user, it is judged whether the proposal of coordination is required. If the determination here is negative, the entire process of FIG. 7 is terminated. If the determination is positive, the process proceeds to step S38.
  • the control unit 60 makes a coordination proposal based on the clothes information stored in the flash memory 50.
  • the control unit 60 can acquire, for example, image data of the user's hairstyle captured today, and can suggest clothes worn by the user for the same hairstyle.
  • the control part 60 can acquire fashion information, a weather forecast, temperature prediction, etc. from the internet via the communication part 18, and can propose clothes based on these.
  • the control unit 60 also proposes coordinates based on the weather forecast and the temperature forecast on the day when the temperature changes drastically (near 10 ° C.) at the turn of the season, etc., based on the clothes the user has. be able to. In this way, it is possible to provide appropriate coordination information to the user.
  • steps S30, S32, S34, and S38 may be changed as appropriate, and only the processing selected by the user may be executed for the processing of steps S30 to S34.
  • control unit 60 displays a tendency of the user's past clothes or provides a coordination plan to the user when the user needs to coordinate. Can do.
  • a process of proposing a coordinate between a new outfit that the user intends to purchase and a hand-held outfit is executed.
  • the process in FIG. 8 is a process that is started under the user's instruction when the user is looking at new clothes in a store, the Internet, a magazine, or the like. In the following, a case where the user is looking at new clothes at a store will be described.
  • step S40 the control unit 60 waits until the clothing data that the user is considering purchasing is input.
  • a terminal placed in a store (suppose that it is connected to the store server 100c) is read close to a barcode attached to clothes or an electronic tag.
  • a method of transmitting clothes data from the store server 100c to the mobile terminal 10 can be used.
  • the clothing ID is read by taking an image of the QR code (registered trademark) attached to the clothing with the imaging unit 30 of the mobile terminal 10, and the ID is used for the store.
  • a method of accessing the server 100c and acquiring clothes data from the store server 100c can be used. Note that the user may input clothes data by taking an image of clothes at the store.
  • the control unit 60 determines the input new clothing in step S42. Specifically, the control unit 60 determines whether the clothes are upper body clothes or lower body clothes (trousers, skirts) based on the input clothes data. In addition, when the clothes are upper-body clothes, the control unit 60 determines whether the clothes are inner or outer based on the input clothes data, or asks the user to input the inner or outer clothes. .
  • step S44 the control unit 60 reads out the clothes information possessed by the user from the clothes DB in order to propose the coordination with the clothes determined in step S42.
  • the user inputs an autumn jacket (outer) as new clothing data
  • the control unit 60 reads out clothing information about the jacket, inner, and trousers from the clothing DB. That is, when the category of the input clothing data is the first category, the control unit 60 reads out the clothing information of the second category different from the first category from the clothing DB together with the first category. .
  • step S46 the control unit 60 determines whether or not the user has a jacket similar to the jacket that the user plans to purchase. In this case, the control unit 60 compares the clothes information (color, design) of the jacket read from the clothes DB with the information (color, design) of the jacket that the user plans to purchase, and whether or not they are similar. Judging. If the determination in step S46 is negative, the process proceeds to step S52. If the determination is positive, the process proceeds to step S48.
  • the control unit 60 displays image data of a similar jacket possessed by the user on the display 12, and indicates that the user is considering purchasing a jacket similar to the jacket on hand. Inform.
  • the control part 60 is good also as displaying on the display 12 also about the image data of the other jacket which the user has.
  • control part 60 displays the message which asks whether the user is changing the jacket which he is going to purchase on the display 12 in step S49.
  • step S50 the control unit 60 determines whether or not the user has input from the touch panel 14 to change the jacket to be purchased. If the determination here is affirmed, the process returns to step S40, but if the determination is negative, the process proceeds to step S52.
  • step S ⁇ b> 52 the control unit 60 reads out clothes information other than the outer (that is, inner clothes information and pants clothes information) from the flash memory 50, and displays a coordinate proposal (display combining each clothes) on the display 12. To do.
  • a coordination proposal it is possible to display hand-held clothing having a representative color that matches the color of the clothing input in step S40.
  • the control unit 60 may propose (display on the display 12) a combination of the same hue or similar hues such as black and gray and blue and light blue.
  • the control unit 60 since the matching between the stripe and the border is not generally performed, if the clothes to be purchased are stripes, the control unit 60 may not propose to coordinate with the clothes of the hand-held border.
  • control part 60 should just not propose the matching of patterns.
  • the control unit 60 may display a thumbnail image of the hand-held clothing on the display 12 and allow the user to select it with the touch panel 14.
  • the control unit 60 may determine whether the colors match based on a predetermined template (a template that defines an appropriate combination of inner and outer colors) or the like. . Thereby, the user can coordinate the jacket that he / she intends to purchase while at the store and the clothes he / she has.
  • the control unit 60 may compare the size with the clothes on hand.
  • the control unit 60 displays an image of a skirt having a similar length on the display 12 so that the user can visually recognize whether or not the knee is to be worn when the skirt to be purchased is worn. be able to.
  • the control unit 60 can inform the user of the result by comparison with the length of the coat on hand.
  • the mobile terminal 10 of the present embodiment it is possible to check the state when wearing clothes to be purchased using information on clothes in the same category on hand or information on clothes in different categories on hand. Can do.
  • step S52 can also be diverted to step S38 in the flowchart of FIG.
  • step S54 the control unit 60 determines whether or not the user desires to continue this process. If the determination here is affirmed, the process returns to step S40. If the determination is negative, the entire process of FIG. 8 is terminated.
  • control unit 60 executes the process of FIG. 8 and the clothes that the user intends to newly purchase are similar to the clothes that the user has, the user is notified of that or newly purchased. It is possible to provide the user with a coordination plan based on the clothes he is trying to wear and the clothes he has.
  • the mobile terminal 10 includes the first camera 31 provided in the main body 11 and the first camera 31 provided in a different position from the first camera 31 of the main body 11. 2 cameras 32, a third camera 33, an attitude sensor 23 that detects the attitude of the main body 11, and a control unit 60 that performs imaging with each camera according to the detection result of the attitude sensor 23.
  • the present embodiment it is possible to perform imaging according to the posture of the main body 11, that is, according to the imaging range of the first to third cameras 31 to 33. Therefore, when each camera can capture an appropriate image, imaging using each camera is performed. Therefore, it is possible to automatically capture an appropriate image and improve the usability of the mobile terminal 10. Become.
  • the first camera 31 is provided on the ⁇ Y side surface (main surface) of the main body 11, and the third camera 33 is provided on a surface (+ Y side surface) different from the main surface. Therefore, it is possible to image the upper and lower body of the user at the same time while the user is sitting or standing.
  • the touch panel 14 and the display 12 are provided on the main surface (the surface on the ⁇ Y side) of the mobile terminal 10, the user operates the mobile terminal 10 and visually recognizes the display 12.
  • the user's appearance (upper body and lower body) can be imaged while the user is in motion.
  • the acceleration sensor 25 which detects the attitude
  • the third camera 33 can capture an appropriate image, the third camera 33 can perform imaging.
  • the control unit 60 performs trimming of an image captured according to the detection result of the acceleration sensor 25, so that the user cannot visually recognize a portion of the captured image that is likely not to be captured. Can be.
  • the user when the user is holding the portable terminal 10 (main body part 11), it detects with the pressure sensor etc. of the biosensor 22, and the control part 60 is detected with a pressure sensor etc.
  • imaging is performed by at least one of the cameras 31 to 33, the user's appearance and the like can be captured at an appropriate timing.
  • the clothing detection unit 42 synthesizes the images captured by the cameras, partial images (images of the periphery of the face, the upper body, the lower body, etc.) captured by the cameras are collected 1 It can be a single image. Thereby, it becomes possible to analyze a user's appearance appropriately.
  • the control unit 60 analyzes the identity between the current dressing of the user and the past dressing, or the current dressing of the user. You can propose a coordination plan for your clothes, a coordination plan for clothes that you are going to purchase and clothes you have on hand.
  • the communication unit 18 obtains data related to the dressing from the external device 100, the data of past clothes (such as clothes photographed with the digital camera 100a or clothes stored in the image server 100b) are included. Based on this, it is possible to analyze the user's appearance.
  • control unit 60 acquires image data obtained by capturing the user's clothes, and the clothes detection unit 42 determines the combination of clothes based on the image data. It is possible to automatically determine the combination of clothes from the image data.
  • the face recognition unit 41 recognizes the user's face from the image, it is possible to easily determine the combination of the user's clothes by determining the lower part from the face as the clothes. Is possible. Further, by using the face recognition result, it becomes possible to perform user identification and clothing management for each user.
  • control unit 60 since the control unit 60 stores the frequency of the combination of the user's clothes in the flash memory 50, the frequency information can be provided to the user (for example, displayed on the display 12). it can.
  • the mobile terminal 10 of the present embodiment includes a flash memory 50 that stores clothes data possessed by the user, and a communication unit 18 that inputs information about clothes that are not stored in the flash memory 50.
  • the control unit 60 can propose a coordination between the clothes that the user intends to purchase (obtained from the store server 100c) and the clothes that the user has stored in the flash memory 50.
  • control unit 60 detects clothes data similar to the clothes that the user intends to purchase from the hand-held clothes data stored in the flash memory 50 and displays the clothes data on the display 12. Thereby, it is possible to prevent the user from newly purchasing clothes similar to the clothes on hand.
  • the resizing unit 43 since the resizing unit 43 detects a change in the user's body shape, information related to the change in the body shape can be provided to the user.
  • the said embodiment demonstrated the case where a user was imaged in the place where it goes out, such as in a train, and it analyzes a dress, it is not restricted to this.
  • a user since a coat is worn, what is worn under the coat may not be determined from the outside.
  • the user may be imaged only when the user is indoors (for example, when the date is winter but the temperature (room temperature) is 15 ° C. or higher). .
  • the control unit 60 performs the coordination proposal based on the hairstyle or the like in step S38 of FIG. 7, but the present invention is not limited to this.
  • the control unit 60 may be the latest of a person other than the user (for example, a person resident in the country or city (for example, Denmark) from the image server 100b and having the same gender as the user and a close age). It is good also as acquiring and providing image data of clothes of (or the previous year).
  • the control unit 60 may compare the clothes of people other than the user with clothes specified by the user (for example, buy) and provide (display) the comparison result.
  • step S48 when purchasing new clothes, if similar clothes are already held, the case of notifying the user of that is described.
  • the present invention is limited to this. It is not a thing. For example, when the size of clothes is managed in the clothes DB and the size of the new clothes is different from the size of the clothes on hand, the user may be informed that there is a possibility that the previous clothes may not be worn. You may make it alert
  • the communication unit 18 analyzes the size of the family and others and the clothes information possessed by the family and others from the digital camera 100a, the image server 100b, and the store server 100c, and notifies the user. May be.
  • both the operation unit (touch panel 14 in the above embodiment) and the display unit (display 12 in the above embodiment) are provided on the main surface (the surface on the ⁇ Y side) of the mobile terminal 10.
  • the present invention is not limited to this, and at least one may be provided.
  • the present invention is not limited to this. It is sufficient that at least two of the first to third cameras 31 to 33 are provided. That is, not only the at least two cameras but also one or a plurality of cameras other than the cameras described in the above embodiment may be provided in the main body 11.
  • the user's appearance information is detected by the imaging unit 30 of the mobile terminal 10, but the personal computer is provided with an imaging unit so that the user's appearance is maintained while the user is operating the personal computer. It may be detected. Further, the portable terminal 10 and the personal computer may be linked to detect the user's dressed information or provide coordinate information.
  • a portable terminal (smart phone) having a one-hand size with a telephone function has been described as an example.
  • the above embodiment can also be applied to a portable terminal such as a tablet computer.
  • control unit 60 performs processing such as analysis of the user's appearance, but the present invention is not limited to this.
  • a part or all of the processing of the control unit 60 described in the above embodiment may be executed by a processing server (cloud) connected to the network 80.
  • the mobile terminal 10 does not have to include the first to third cameras 31 to 33 from the viewpoint of determining the combination of clothes based on the image data of the user's clothes in the mobile terminal 10.
  • the mobile terminal 10 may acquire image data of the user's clothes captured by an external camera through communication or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Human Computer Interaction (AREA)
  • Telephone Function (AREA)
  • Exposure Control For Cameras (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Abstract

　電子機器の使い勝手を向上するため、電子機器は、本体部に設けられた第１カメラ（３１）と、前記本体部の前記第１カメラとは異なる位置に設けられた第２カメラ（３２又は３３）と、前記本体部の姿勢を検出する第１姿勢検出センサ（２３）と、前記第１姿勢検出センサの検出結果に応じて、前記第１、第２カメラによる撮像を行う制御部（６０）と、を備えている。

Description

電子機器
　本発明は、電子機器に関する。
　従来より、人生の行いを記録に残すライフログシステムが提案されている。ライフログシステムにおいては、ユーザの動きや状態を利用して、行動の候補を提示するシステムが提案されている（例えば、特許文献１参照）。
特開２０１０-１４６２２１号公報
　しかしながら、従来のライフログシステムではユーザの入力作業の煩雑さの軽減が十分に図られておらず、使い勝手がよいものではなかった。
　本発明は上記の課題に鑑みてなされたものであり、使い勝手のよい電子機器を提供することを目的とする。
　本発明の電子機器は、本体部に設けられた第１カメラと、前記本体部の前記第１カメラとは異なる位置に設けられた第２カメラと、前記本体部の姿勢を検出する第１姿勢検出センサと、前記第１姿勢検出センサの検出結果に応じて、前記第１、第２カメラによる撮像を行う制御部と、を備えている。
　この場合において、前記制御部は、前記第１姿勢検出センサの検出結果に応じて、前記第１、第２カメラの少なくとも一方による撮像を禁止することとすることができる。また、前記第１カメラは前記本体部の第１の面に設けられ、前記第２カメラは前記第１の面とは異なる第２の面に設けられていることとすることができる。また、前記本体部の前記第１の面には、操作部と表示部との少なくとも一方が設けられていることとすることができる。
　また、本発明では、前記本体部を携帯しているユーザの姿勢を検出する第２姿勢検出センサを備えていてもよい。この場合、前記制御部は、前記第２姿勢検出センサの検出結果に応じて、前記第２カメラの撮像条件と、前記第２カメラの撮像後の処理との少なくとも一方を変更することとしてもよい。
　また、本発明では、前記本体部を保持しているユーザとの距離を検出する距離センサを備えていてもよい。また、前記制御部は、前記本体部をユーザが保持しているときに、前記第１、第２カメラの少なくとも一方による撮像を行うこととすることができる。また、前記本体部には、生体情報を取得する生体センサが設けられていてもよい。
　また、本発明の電子機器は、前記第１カメラが撮像した画像と、前記第２カメラが撮像した画像とを合成する合成部を備えていてもよい。また、本発明の電子機器は、前記本体部の前記第１カメラが設けられた面の、前記第１カメラとは異なる位置に設けられた第３カメラを備えていてもよい。また、本発明の電子機器は、身なりに関するデータを記憶するメモリを備えていてもよい。この場合、前記メモリに記憶されているデータと、前記第１、第２カメラが撮像した画像データとを比較する比較部を備えていてもよい。また、本発明の電子機器は、外部機器から身なりに関するデータを取得する取得部を備えていてもよい。
　また、本発明の電子機器は、ユーザの動きを検出する動き検出センサと、本体部の姿勢を検出する姿勢検出センサと、前記本体部に設けられ、処理を行う処理部と、前記動き検出センサと前記姿勢検出センサとの検出結果に基づいて、前記処理部による処理を制御する制御部と、を備えている。
　この場合において、前記制御部は、前記動き検出センサの出力が所定の値よりも小さくなったときに、前記処理部による処理を行うこととしてもよい。また、前記処理部は、撮像を行う撮像部であることとしてもよい。
　本発明の電子機器は、ユーザの服装を撮像した画像データを取得する取得部と、前記画像データに基づいて、前記服装の組合せを判別する判別部と、を備えている。
　この場合において、本体部に設けられた撮像部を備え、前記撮像部は、前記本体部が前記ユーザに保持されているときに、前記ユーザの服装を撮像することとすることができる。また、前記判別部は、前記画像データの色情報に基づいて、前記服装の組合せを判別することとしてもよい。また、前記画像データに基づいて、前記ユーザの顔認識をする顔認識部を備えていてもよい。
　また、本発明の電子機器では、前記判別部は、前記画像データに基づいて、服装の重ねを検出することができる。この場合において、前記判別部は、前記服装の襟部に基づいて、前記服装の重ねを検出することとすることができる。また、前記判別部は、前記ユーザの肌の検出結果に基づいて、前記服装の重ねを検出することができる。また、前記判別部は、前記画像データの服装部分を拡大したときのパターンの違いに基づいて、前記服装の重ねを検出することができる。
　また、本発明の電子機器では、前記撮像部は、第１カメラと、該第１カメラから所定距離離れた位置に設けられた第２カメラとを備えていてもよい。この場合、前記第１カメラと前記第２カメラとは異なる面に設けられていてもよい。また、本発明の電子機器は、服装に関するデータを記憶するメモリを備えていてもよい。この場合、前記メモリは、前記服装の組合せの頻度を記録することとしてもよい。また、前記メモリに記録されている、所定期間内における前記服装の組み合わせの頻度を表示する表示部を備えていてもよい。
　また、本発明の電子機器では、前記判別部は、前記画像データに基づいて、ユーザの髪型及びユーザが身に着けている装飾品の少なくとも一方を判別することとしてもよい。
　本発明の電子機器は、ユーザが所持している服装に関する情報を記憶するメモリと、前記メモリに記憶されていない服装に関する情報を入力する入力部と、を備えている。
　この場合において、前記入力部に入力された服装に関する情報に応じて、前記メモリに記憶されている服装に関する情報を表示する表示部を備えていてもよい。この場合、前記表示部は、前記入力部に入力された服装に関する情報が第１のカテゴリーであるときに、前記メモリから第１のカテゴリーとは異なる第２のカテゴリーの服装に関する情報を表示することとすることができる。また、前記表示部は、前記入力部に入力された服装に関する情報と、前記メモリに記憶されている服装に関する情報とを組み合わせて表示することができる。また、前記メモリに記憶されている服装に関する情報の中から、前記入力部に入力された服装に関する情報に類似した服装に関する情報を検出する検出部を備え、前記表示部は、前記検出部により検出された類似した服装情報を表示することとしてもよい。また、本発明では、前記入力部に入力された服装に関する情報に基づいて、前記ユーザ体型の変化を検出する体型変化検出部を備えていてもよい。
　また、本発明の電子機器は、ユーザ以外の人の服装に関する情報を取得する取得部と、前記ユーザが特定した服装に関する情報を入力する入力部と、を備える。
　この場合において、前記ユーザ以外の人の服装に関する情報と、前記ユーザが特定した服装に関する情報と、を比較する比較部を備えていてもよい。また、前記比較部による比較結果を表示する表示部を備えていてもよい。
　また、前記入力部に入力される情報には前記服装の色相に関する情報が含まれており、前記メモリに記憶されている服装の情報から前記色相と同じまたは近い色相の情報を抽出する第１抽出部を備えていてもよい。また、前記入力部に入力される情報には前記服装のサイズに関する情報が含まれており、前記メモリに記憶されている服装の情報から前記サイズに応じた情報を抽出する第２抽出部を備えていてもよい。この場合、前記第２抽出部は、前記入力部に入力された服装と同じカテゴリの服装の情報を抽出することとしてもよい。また、前記第２抽出部は、前記入力部に入力された服装と異なるカテゴリの服装の情報を抽出することとしてもよい。
　また、本発明の電子機器は、前記入力部に入力される情報には、前記服装の柄に関する情報が含まれており、前記メモリに記憶されている服装の情報から前記柄に応じて情報の抽出を規制する規制部を備えていてもよい。
　本発明は、使い勝手のよい電子機器を提供することができるという効果を奏する。
一実施形態に係る情報処理システムの構成を示す図である。 図２（ａ）は、携帯端末を表側（－Ｙ側）から見た状態を示す図であり、図２（ｂ）は、携帯端末を裏側（＋Ｙ側）から見た状態を示す図である。 携帯端末と外部機器のブロック図である。 図４（ａ）は、撮像部３０とユーザとの距離を示す図であり、図４（ｂ）は、第１カメラの焦点距離について説明するための図であり、図４（ｃ）は、第２カメラの焦点距離について説明するための図である。 図５（ａ）～図５（ｆ）は、ユーザの服装の例を示す図である。 ユーザの身なりを検出する処理のフローチャートである。 ユーザに身なりを報知するための処理を示すフローチャートである。 新しい服装とのコーディネート提案処理を示すフローチャートである。 服装ＤＢを示す図である。 身なりログを示す図である。
　以下、一実施形態について、図１～図１０に基づいて、詳細に説明する。図１には、一実施形態にかかる情報処理システム２００の構成がブロック図にて示されている。
　情報処理システム２００は、図１に示すように、携帯端末１０と、外部機器１００と、を備える。これら携帯端末１０及び外部機器１００は、インターネットなどのネットワーク８０に接続されている。
　携帯端末１０は、ユーザにより携帯された状態で利用される情報機器である。携帯端末１０としては、携帯電話、スマートフォン、ＰＨＳ（Personal Handy-phone System）、ＰＤＡ（Personal Digital Assistant）等を採用することができるが、本実施形態では、携帯端末１０は、スマートフォンであるものとする。携帯端末１０は、電話機能やインターネット等に接続するための通信機能、および、プログラムを実行するためのデータ処理機能等を有する。
　図２（ａ）は、携帯端末１０を表側（－Ｙ側）から見た状態を示す図であり、図２（ｂ）は、携帯端末１０を裏側（＋Ｙ側）から見た状態を示す図である。これらの図に示すように、携帯端末１０は、一例として、長方形の主面（－Ｙ面）を有する薄板状の形状を有しており、片手の手のひらで把持することができる程度の大きさを有している。
　図３には、携帯端末１０と外部機器１００のブロック図が示されている。この図３に示すように、携帯端末１０は、ディスプレイ１２と、タッチパネル１４と、カレンダ部１６と、通信部１８と、センサ部２０と、撮像部３０と、画像分析部４０と、フラッシュメモリ５０と、制御部６０と、を有する。
　ディスプレイ１２は、図２（ａ）に示すように、携帯端末１０の本体部１１の主面（－Ｙ面）側に設けられている。ディスプレイ１２は、例えば、本体部１１の主面の大半の領域（例えば９０％）を占める大きさを有する。ディスプレイ１２は、画像、各種情報およびボタン等の操作入力用画像を表示する。ディスプレイ１２は、一例として、例えば液晶表示素子を用いたデバイスであるものとする。
　タッチパネル１４は、ユーザが触れたことに応じた情報を制御部６０に対して入力することが可能なインタフェースである。タッチパネル１４は、図２（ａ）に示すように、ディスプレイ１２表面またはディスプレイ１２内に組み込まれているため、ユーザは、ディスプレイ１２の表面をタッチすることにより、種々の情報を直感的に入力することができる。
　カレンダ部１６は、年、月、日、時刻といった時間情報を取得して、制御部６０に対して出力する。なお、カレンダ部１６は、更に計時機能を有しているものとする。
　通信部１８は、ネットワーク８０上の外部機器１００と通信する。通信部１８は、一例として、インターネット等の広域ネットワークにアクセスする無線通信ユニット、Bluetooth（登録商標）による通信を実現するBluetooth（登録商標）ユニット、及び、FeliCa（登録商標）チップ等を有し、外部機器１００や他の携帯端末などと通信する。
　センサ部２０は、各種センサを有している。本実施形態においては、センサ部２０は、ＧＰＳ（Global Positioning System）モジュール２１、生体センサ２２、姿勢センサ２３、温湿度計２４、加速度センサ２５を有しているものとする。
　ＧＰＳモジュール２１は、携帯端末１０の位置（例えば緯度や経度）を検出するセンサである。
　生体センサ２２は、図２（ａ）、図２（ｂ）に示すように、一例として、携帯端末１０の本体部１１の裏面の２箇所に設けられ、携帯端末１０を保持するユーザの状態を取得するセンサである。生体センサ２２は、一例として、ユーザの体温、血圧、脈拍および発汗量等を取得する。このような生体センサ２２としては、一例として、特開２００１－２７６０１２号公報（米国特許６，５２６，３１５号）に開示されているような、発光ダイオードからユーザに向けて光を照射し、この光に応じてユーザから反射した光を受光することにより、脈拍を検出するセンサや、特開２００７－２１５７４９号公報（米国公開２００７－１９１７１８号）に開示されているような腕時計型の生体センサを採用することができる。なお、生体センサ２２は、本体部１１の表面側、又は長辺側の側部に設けられてもよい。
　また、生体センサ２２としては、ユーザが携帯端末１０を保持している力に関する情報（例えば握力）を取得するセンサ（圧力センサ）を有しているものとする。このような圧力センサは、ユーザが携帯端末１０を保持したことや、携帯端末１０を保持する力の大きさを検出することができる。なお、後述する制御部６０は、圧力センサによりユーザが携帯端末１０を保持したことを検出した段階で、他の生体センサによる情報の取得を開始するようにしてもよい。また、制御部６０は、電源がオンとなっている状態において、圧力センサによりユーザが携帯端末１０を保持したことを検出した段階で、その他の機能をオンにする（あるいはスリープ状態から復帰する）ような制御を行うこととしてもよい。
　姿勢センサ２３は、携帯端末１０の内部に設けられ、携帯端末１０の姿勢を検出することにより、後述する第１カメラ３１、第２カメラ３２、第３カメラ３３の姿勢を検出するものである。姿勢センサ２３としては、フォトインタラプタの赤外光を、重力によって移動する小球が遮断するか否かにより一軸方向の姿勢を検出するセンサを複数組み合わせた構成を採用することができる。ただし、これに限らず、姿勢センサ２３としては、３軸加速度センサやジャイロセンサなどを採用することとしてもよい。
　温湿度計２４は、携帯端末１０の周囲の温度を検出する環境センサである。なお、温湿度計２４に代えて、温度計及び湿度計が携帯端末１０に別々に設けられてもよい。なお、温湿度計２４は、生体センサ２２によるユーザの体温を検出する機能と兼用される構成であってもよい。
　加速度センサ２５は、圧電素子や歪ゲージなどを用いることができる。加速度センサ２５は、本実施形態ではユーザが立っているか座っているかを検出する。なお、加速度センサ２５による加速度の検出軸は、図２（ａ）のＺ軸方向となっている。なお、図２（ａ）のＸ軸、Ｙ軸を検出軸とする加速度センサを設けてもよく、この場合には、加速度センサによりユーザの移動方向を検出するなどすることができる。なお、加速度センサを用いてユーザが立っているか、座っているか、歩いているか、走っているかを検出する方法については、例えば日本特許第３５１３６３２号（特開平８－１３１４２５号公報）に開示されている。また、加速度センサ２５に代えて、もしくは加速度センサ２５と併用して角速度を検出するジャイロセンサを用いてもよい。
　撮像部３０は、図２（ａ）、図２（ｂ）に示すように、本体部１１の主面（－Ｙ側の面）のディスプレイ１２よりも上方（＋Ｚ方向）に設けられた第１カメラ３１と、ディスプレイ１２の下方（－Ｚ方向）に設けられた第２カメラ３２と、本体部１１の主面の反対側の面（＋Ｙ側の面）であって、第１カメラ３１よりも下方（－Ｚ方向）に設けられた第３カメラ３３と、を有している。撮像部３０は、ユーザが携帯端末１０を保持した際（使用しているとき）のユーザの状況（例えば身なり）を撮像し、当該ユーザの状況のログをユーザに特別な操作を強いることなく取得する。
　第１カメラ３１は、携帯端末１０を操作しているユーザの顔や、帽子、ネクタイ、アクセサリー、髪型、服装などの身の周りを撮像するカメラである。
　第２カメラ３２は、携帯端末１０を操作しているユーザの上半身を撮像するものであり、携帯端末１０の姿勢によってはユーザの下半身の撮像もできるものとする。
　第３カメラ３３は、ユーザの下半身の服装や足元を撮像するカメラである。第３カメラ３３は、ユーザの下半身の服装や足元を撮像するため、及びユーザの手によって覆われないようにするために、ディスプレイ１２の反対面の下方（－Ｚ側の端部近傍）に設けられている。
　撮像部３０が有する各カメラ３１～３３は、撮影レンズや撮像素子（ＣＣＤおよびＣＭＯＳデバイス）を有するという基本構成は同一であるが、撮影レンズの焦点距離は異なっている。なお、撮影レンズとしては、液体レンズを用いても構わない。また、撮像部３０を構成するそれぞれのカメラの撮像素子は、一例として、ＲＧＢ３原色がベイヤ配列されたカラーフィルタを含み、各色のそれぞれに対応した色信号を出力する。以下、各カメラ３１～３３の焦点距離について説明する。
　図４（ａ）は、撮像部３０とユーザとの距離を示す図である。図４（ａ）に示すように、ユーザが携帯端末１０を把持した状態では、第１カメラ３１からユーザの顔周辺までの距離がおよそ３００ｍｍとなる。この第１カメラ３１が、肩幅程度（５００ｍｍ程度）を撮像する必要があるとすると、第１カメラ３１の短辺方向半画角は、図４（ｂ）に示すθ１≒３９．８°となる（ｔａｎθ１＝２５０／３００のため）。このため、本実施形態においては、第１カメラ３１の焦点距離は、３５ｍｍ版カメラに換算して１４ｍｍ相当となっている。
　これに対し、第２カメラ３２からユーザの上半身（胸元）までの距離はおよそ２５０ｍｍとなる。この第２カメラ３２が、肩幅程度（５００ｍｍ程度）を撮像する必要があるとすると、第２カメラ３２の短辺方向の半画角は、図４（ｂ）に示すθ２＝４５°となる（ｔａｎθ２＝２５０／２５０のため）。このため、本実施形態においては、第２カメラ３２の焦点距離は、３５ｍｍ版カメラに換算して１２ｍｍ相当となっている。すなわち、第２カメラ３２の画角は、第１カメラ３１の画角よりも広くなっている。
　なお、第３カメラ３３は、第１カメラ３１と同一の半画角と焦点距離の光学系を備えているものとする。なお、第３カメラ３３はユーザが立っている場合にユーザの足元を撮像する場合がある。この場合、短辺方向の半画角が３９．８°程度であるとユーザ以外の足元を撮像してしまう場合がある。このような場合には、後述する制御部６０は、第３カメラ３３の姿勢（姿勢センサ２３により検出される携帯端末１０の姿勢）に基づいて、ユーザが存在すると思われる範囲の画像のみを残すようにトリミングするようにしてもよい。あるいは、制御部６０は、加速度センサ２５の出力に基づいてユーザが立っていると判断できるような場合には、第３カメラ３３に予め設けておいたズーム光学系を望遠方向に移動して、ユーザの足元を撮像するようにしてもよい。また、制御部６０は、ユーザが立っている場合には、第３カメラ３３による撮像を行わない（禁止する）ようにしてもよい。
　なお、第１カメラ３１、第２カメラ３２、第３カメラ３３を上下または左右に可動できるような構成として、より広い範囲でユーザ及びユーザの身なりを撮像できるようにしてもよい。
　なお、撮像部３０は、ユーザが携帯端末１０を操作している間に撮像するため、手振れの影響を受けたり、乗り物などの振動の影響を受けたりする可能性がある。このような場合には、撮像部３０は、複数枚の静止画を撮像し、これら複数枚の静止画を合成することで手振れや振動の影響を排除するような処理を行うようにすればよい。なお、この場合の画像は、鑑賞用ではなくユーザの服装などの身なりが判定できる程度のものでよいので、市販のソフトウェアなどを利用して簡易的に手振れや振動の影響を排除するようにすればよい。
　画像分析部４０は、撮像部３０が撮像した画像や、外部機器１００に保存されている画像の分析を行うものであり、本実施形態では、顔認識部４１、服装検出部４２及びリサイズ部４３を有する。
　顔認識部４１は、第１カメラ３１が撮像した画像に、顔が含まれているか否かを検出する。さらに、顔認識部４１は、画像の中から顔を検出した場合には、検出した顔の部分の画像データと、フラッシュメモリ５０に記憶されているユーザの顔の画像データとを比較（例えばパターンマッチング）して、第１カメラ３１が撮像した人を認識する。
　服装検出部４２は、第１カメラ３１、第２カメラ３２、第３カメラ３３により撮像されたユーザの身なり（服装、鞄、靴など）が、どのようなものであるかを検出するものである。
　ここで、前述した顔認識部４１によって、第１カメラ３１が撮像した画像に顔が含まれていると判断された場合、当該顔の下方部分に服装の画像がある可能性が高い。したがって、服装検出部４２は、顔認識部４１により認識された顔の下方部分の予め定められた範囲の画像を抽出し、当該抽出された画像とフラッシュメモリ５０に記憶されている服装ＤＢ（図９参照）に格納されている画像データとをパターンマッチングすることにより、ユーザの服装を検出する。なお、服装検出部４２は、第２カメラ３２が撮像した画像と、フラッシュメモリ５０に記憶されている服装ＤＢ（図９）の画像データとをパターンマッチングすることによっても、ユーザの服装を検出することができる。なお、上述のパターンマッチングは、撮像部３０で撮像された画像全体から服装ＤＢの画像のパターンマッチングを行う部分領域を複数抽出し、抽出された各部分領域に対して服装ＤＢの対象画像（後述するアウター、インナー、スーツなど）を選択してパターンマッチングを行うようにしてもよい。この場合、画像全体から部分領域を抽出するためのテンプレート画像を服装ＤＢに記憶させておき、まず、画像全体とテンプレート画像とのパターンマッチングを行うようにしてもよい。また、各部分領域に対応する撮像素子のＲＧＢ出力（色情報）に基づいて、服装検出部４２は、各部分領域の代表色を検出するようにしてもよい。
　なお、服装ＤＢは、図９に示すように、各カメラ３１～３３によって撮像された画像から抽出される、ユーザが過去に着用していた服装データを、服装ＩＤ（一意に割り当てられる識別子）と服装の種別とともに格納するものとする。なお、服装の種別の欄には、アウター、インナーのほか、スーツ、ジャケット、和服、ネクタイ、ポケットチーフ、コート等が入力される。また、服装データの画像として、それぞれの服装の特徴的な形状（例えば、襟部分の形状、半袖、長袖）の画像を格納することとしてもよい。なお、ユーザが通信部１８を用いて商品を購入した場合（インターネットショッピングなどで購入した場合）には、制御部６０は、通信部１８を介して服装データを入手し、服装ＤＢに記憶するようにしてもよい。また、制御部６０は、外部機器１００が保有する画像から、服装データを入手し、服装ＤＢに記憶するようにしてもよい。
　なお、服装検出部４２は、第１カメラ３１及び第２カメラ３２が撮像したユーザの上半身の服装と、第３カメラ３３が撮像したユーザの下半身の服装とを比較することにより、ユーザの服装がスーツ（上着とズボンとが同じ生地で仕立てられている）か、ジャケットかを判断するようにしてもよい。
　また、服装検出部４２は以下に説明する２つの機能（（１）画像合成機能、及び（２）重ね着判定機能）を有していてもよい。なお、各機能は、いずれもソフトウエアにより達成される。
（１）画像合成機能
　服装検出部４２は、第１カメラ３１が撮像した画像と、第２カメラ３２が撮像した画像とを合成して１つの画像とする。この場合、服装検出部４２は、一例として、第１カメラ３１が撮像した画像と、第２カメラ３２が撮像した画像との重複部分を検出し、重複部分に基づいて画像を合成する。なお、服装検出部４２は、フラッシュメモリ５０に記憶されている服装データをリファレンスとして、第１カメラ３１が撮像した画像と、第２カメラ３２が撮像した画像とを合成してもよい。このように、画像合成が行われた場合には、服装検出部４２は、合成された画像に基づいて、ユーザの服装を検出するようにすればよい。
（２）重ね着判定機能
　服装検出部４２は、ユーザが着ているＹシャツ、Ｔシャツなどのインナーと、インナーの外側に着ているジャケット、トレーナ、ブルゾンなどのアウターとを検出（識別）することで、重ね着しているか否かを判定する。
　図５（ａ）～図５（ｆ）は、ユーザの服装の例を示す図であり、図５（ａ）～図５（ｄ）は、男性の服装の例を示し、図５（ｅ）、図５（ｆ）は、女性の服装の例を示している。以下、これらの図に基づいて、重ね着判定の具体例について説明する。
　図５（ａ）は、ユーザがＹシャツ、ネクタイ、スーツを着ている例を示し、図５（ｂ）は、ユーザがＹシャツ、スーツを着ている例を示している。また、図５（ｃ）は、ユーザがＹシャツを着ているが、ジャケットを着ていない例を示し、図５（ｄ）は、ユーザがポロシャツを着ている例を示している。また、図５（ｅ）は、ユーザが丸首のシャツの上にジャケットを着ている例を示し、図５（ｆ）はユーザがワンピースの上にジャケットを着ている例を示している。
　これらのうち、図５（ａ）、図５（ｂ）、図５（ｅ）、図５（ｆ）に示すように、ユーザが重ね着をしている場合は、アウターの襟はインナーの襟の外側に位置している。このため、服装検出部４２は、複数の襟の画像を検出したときにユーザが重ね着をしていると判定することができる。また、インナーとアウターとでは色や模様、織り柄（画像を拡大したときのパターン）などが異なっていることが多いため、服装検出部４２は、色や模様の違い、織り柄の違いなどから重ね着の判定を行ってもよい。また、これとは逆で、服装検出部４２は、図５（ｃ）、図５（ｄ）に示すように、撮像部３０がユーザの腕（二の腕や、手首を除いた前腕）を撮像した場合や、半袖を撮像した場合にユーザが重ね着をしていないと判定するようにしてもよい。
　また、服装検出部４２は、第３カメラ３３がユーザの下半身（ズボン、スカート）を撮像した場合に、当該下半身が上着の色や模様と同じかどうかを判定し、同じであればユーザがスーツやワンピースを着ていると判定し、異なっていればユーザがジャケットや、シャツを着ていると判定するようにしてもよい。
　上記のようにして重ね着判定した結果を利用することで、ユーザがインナーとアウターを着ているのか、スーツやワンピースを着ているのかなどを、検出することが可能となる。
　図３に戻り、リサイズ部４３は、第１カメラ３１により撮像された画像に基づき、ユーザの体型の変化（太ったか、痩せたか、変わらないか）の有無を検出する。具体的には、リサイズ部４３は、ユーザの両目の間隔をリファレンスとして、両目の間隔と、ある大きさに規格化された後の顔の輪郭や肩幅との比を検出する。なお、リサイズ部４３は、輪郭や肩幅に関して、短期間に急激な変化が現れた場合には、ユーザに対して警告を行うようにしてもよい。
　また、リサイズ部４３によりユーザの体型の変化のログを取ることにより、例えば１年前の同季節の服が着られるかどうか、また、服を購入する際に前年に着ていた服を今年も着ることができるかの判定（推定）を行うようにしてもよい。
　フラッシュメモリ５０は、不揮発性の半導体メモリである。フラッシュメモリ５０は、制御部６０によって実行される携帯端末１０を制御するためのプログラム、および、携帯端末１０を制御するための各種パラメータや、服装情報（画像データ）等を記憶する。さらに、フラッシュメモリ５０は、センサ部２０が検出した各種データ、および、服装ＤＢ（図９参照）、服装やユーザの顔の輪郭に関するデータのログ（身なりログ（図１０参照））を記憶する。
　制御部６０は、ＣＰＵを有し、情報処理システム２００全体を統括的に制御する。本実施形態においては、制御部６０は、ユーザが携帯端末１０を操作しているときに撮像部３０により撮像された画像から、ユーザの服装の情報を取得したり、当該ユーザの服装の情報に基づいた各種処理（コーディネート提案など）を実行する。
　図１に戻り、外部機器１００は、デジタルカメラ（以下、デジカメと呼ぶ）１００ａ、画像サーバ１００ｂ、店舗サーバ１００ｃを含む。なお、いずれの外部機器１００も、図３に示すように、通信部、制御部、メモリを有しているものとする。
　デジカメ１００ａは、ユーザやユーザの家族が所有しているデジカメである。デジカメ１００ａの制御部１２０ａは、撮像した画像の中から、不図示の顔認識部によりユーザの顔が認識された画像を抽出し、通信部１１０ａを介して携帯端末１０に対して送信する。あるいは、制御部１２０ａは、携帯端末１０からのリクエストに応じて、メモリ１３０ａに記憶されているユーザの画像を通信部１１０ａを介して携帯端末１０に送信する。
　画像サーバ１００ｂは、登録された複数のユーザの画像を保存するメモリ１３０ｂを有するサーバである。メモリ１３０ｂは、ユーザ毎に画像を記憶する領域（例えばフォルダ）が設けられており、登録されたユーザのみ画像を閲覧できる記憶領域、ユーザが許可したユーザのみ画像を閲覧できる記憶領域、画像サーバ１００ｂに登録したユーザなら誰でも閲覧できる記憶領域を有している。制御部１２０ｂは、登録されたユーザが指定した記憶領域に画像を記憶する。また、制御部１２０ｂは、セキュリティーレベルに応じて画像の管理を行うととともに、登録されたユーザの操作に応じて、そのユーザが閲覧可能な画像を通信部１１０ｂを介して送信する。
　本実施形態においては、ユーザによる携帯端末１０の操作に応じて、ユーザ自身の画像が画像サーバ１００ｂから携帯端末１０に対して送信されるとともに、誰でも閲覧できる画像のうちの服装に関する画像が画像サーバ１００ｂから携帯端末１０に対して送信されるものとする。
　店舗サーバ１００ｃは、服を販売している店舗のサーバである。メモリ１３０ｃには、ユーザがどのような商品を購入したかの履歴が記憶されている。制御部１２０ｃは、ユーザからのリクエストに応じて、通信部１１０ｃを介して、ユーザの購入履歴情報を提供する。なお、購入履歴情報の一例は、購入日、金額、衣服の画像、色、サイズ、素材情報である。
　本実施形態においては、前述のとおり、画像分析部４０がインナー、アウター、帽子、ネクタイ、アクセサリー、髪型、顔の輪郭などのアイテム別に判別するが、店舗側からの購入した衣服の詳細情報から、アイテムが同一と判定された場合、そのアイテムと、店からの衣服の情報を関連付けることができる。また、各アイテムの代表画像を店舗サーバ１００ｃから取得するようにしてもよい。なお、ユーザの許可があれば、アイテムの使用頻度データを店舗サーバ１００ｃに情報提供するようにしてもよい。
　以上のように構成される本実施形態の情報処理システム２００の処理について、図６～図８のフローチャートに沿って、その他図面を適宜参照しつつ詳細に説明する。
（ユーザの身なり検出処理）
　図６は、ユーザの身なりを検出する処理のフローチャートである。この図６の処理は、生体センサ２２（圧力センサなど）が、ユーザによる携帯端末１０の保持を検出した段階から開始されるものであり、ユーザによる携帯端末１０の操作中（使用中）にユーザに特段の操作を行わせることなく、ユーザの身なりを検出するものである。
　図６の処理では、ステップＳ１０において、制御部６０が、撮像を行うかどうかの判断を行うために、センサ部２０を用いて状況確認を行う。具体的には、制御部６０は、ＧＰＳモジュール２１によりユーザのいる位置を取得し、生体センサ２２及び加速度センサ２５によりユーザが立っているか、座っているか、歩いているかなどを検出する。なお、ここでは、ユーザは電車に座って移動しているものとして、以下説明する。
　また、制御部６０は、姿勢センサ２３により携帯端末１０の姿勢を検出するとともに、温湿度計２４により温度及び湿度を検出する。また、制御部６０は、カレンダ部１６から現在の日時を取得するとともに、前回ユーザを撮像した時間を確認する。ここで、制御部６０は、前回の撮像が会社に向かっているとき（通勤（行き）のとき）に行われた場合で、現在が同日の会社からの帰宅途中である場合には、ユーザが同じ服装であるとして撮像を行わなくてもよい。ただし、これに限らず、後述のステップＳ１４でユーザを撮像したときに同じ服装であるかどうかを検出して、撮像を継続するかどうかを判断するようにしてもよい。
　次いで、ステップＳ１２では、制御部６０は、ステップＳ１０で取得した状況に基づいて撮像部３０による撮像を行うかどうかを判断する。
　ここで、制御部６０は、例えば、ユーザが電車に座っており、携帯端末１０のＺ軸方向が鉛直方向から５０°程度傾斜している場合には、第１カメラ３１、第２カメラ３２、第３カメラ３３の全てを用いて、ユーザやユーザの身なりを撮像すると判断する。
　なお、第１カメラ３１、第２カメラ３２は、携帯端末１０のＺ軸方向が鉛直方向を向いた状態から、ディスプレイ１２を視認可能な方向へ７０°程度傾けた状態の範囲内であれば、ユーザの撮像が可能であるとする。また、第３カメラ３３は、携帯端末１０のＺ軸方向が鉛直方向から５°程度傾斜した状態から、ディスプレイ１２を視認可能な方向へ９０°程度傾けた状態の範囲内であれば、ユーザの撮像が可能であるとする。
　なお、制御部６０は、センサ部２０に超音波センサを設けて、ユーザまでの距離を計測し、当該計測結果に基づいて、第１カメラ３１、第２カメラ３２、第３カメラ３３のそれぞれによる撮像が可能かどうかを判断するようにしてもよい。なお、距離を計測するセンサ（距離センサ）としては、超音波センサ以外のセンサを用いることとしてもよい。
　なお、ユーザが歩いているときには、撮像部３０による撮像がうまくいかない場合もあるので、制御部６０は、ユーザが静止するか、所定の加速度（もしくは角加速度）以下になるまで撮像部３０による撮像を待つようにしてもよい。なお、所定の加速度（もしくは角加速度）は、ユーザが携帯端末１０を保持した状態で歩いたときの加速度（もしくは角加速度）から求めればよく、例えば検出した値の１／２以下もしくは１／３以下とすればよい。
　制御部６０は、撮像部３０の少なくとも１つのカメラによる撮像が可能であれば、ステップＳ１４に移行する。一方、撮像部３０による撮像が不可能であれば、図６の全処理を終了する（ステップＳ１２：否定）。上述のように、本実施形態においては、制御部６０は、加速度センサ２５の出力からユーザの状態を検出し、姿勢センサ２３の出力から携帯端末１０の姿勢を検出し、それらの検出結果に基づいて撮像部３０による撮像を行ったり、行わなかったりするので、ユーザに特段の操作を強いることがない。なお、撮像部３０の撮像に限らず、ユーザの状態と携帯端末１０の姿勢とに基づいて、携帯端末１０で使用できる機能やアプリケーションを選択もしくは制限してもよい。例えば、制御部６０が、ユーザが歩きながらディスプレイ１２を見ていると判断したとする。この場合、制御部６０は、ユーザがフラッシュメモリ５０に記憶されている地図情報を見る可能性がある一方で、ゲームなどのアプリケーションを使用する可能性が低いことから、ディスプレイ１２に表示される特定のアイコンメニューの表示を拡大したり、消去するなどすることができる。
　ステップＳ１４に移行すると、制御部６０は、撮像部３０による撮像を実行する。この場合、制御部６０は、第１カメラ３１、第２カメラ３２、第３カメラ３３の少なくとも１つを用いて撮像した画像データをフラッシュメモリ５０に記憶する。なお、ここでは、制御部６０が、服装検出部４２が合成した画像データ（それぞれのカメラが撮像した複数枚の画像を合成した画像や、第１カメラ３１が撮像した画像と第２カメラ３２が撮像した画像とを合成した画像）をフラッシュメモリ５０に記憶したものとする。
　次いで、画像分析部４０は、ステップＳ１５において、前述したようにして、ユーザの顔認識、服装検出、リサイズ処理を行う。
　なお、今回の撮像が同日の２回目以降の撮像の場合であって、前回撮像したユーザの服装と、今回撮像したユーザの服装とが同一であった場合には、制御部６０は、図６の全処理を終了することとしてもよい。
　次いで、ステップＳ１６では、制御部６０は、撮像開始から所定時間（数秒から数十秒）経過した後に、撮像を継続するかどうかの判断を行う。なお、このステップＳ１６では、制御部６０は、画像分析部４０による画像合成や重ね着判定が終了していれば、撮像を終了すると判断するものとする。ステップＳ１６における判断が肯定された場合（撮像を継続する場合）には、ステップＳ１４に戻るが、ステップＳ１６における判断が否定された場合（撮像を終了する場合）には、ステップＳ１７に移行する。
　ステップＳ１７に移行すると、制御部６０は、ユーザの身なり分析を実行する。この身なり分析では、服装検出結果やリサイズ処理の結果と、服装ＤＢ（図９）と、に基づいて、ユーザの服装や、身に着けているアクセサリーを特定して、図１０に示す身なりログ（インナー、アウター、帽子、ネクタイ、やこれら各アイテムの代表色、アクセサリー、髪型（ロングヘア、ショートヘア）、輪郭のサイズ情報）に登録する。なお、このステップＳ１７では、身なりログの１つのレコード（同一日付のレコード）のデータが、可能な限り登録される（場合によっては空白となる場合もある）。
　ここで、図１０の身なりログは、季節、日付、種別、画像、代表色、服装ＩＤ、気温、湿度、輪郭サイズ、種別の各フィールドを含んでいる。季節のフィールドには、日付に基づいて判定される季節が入力される。日付のフィールドには、カレンダ部１６から取得される日付が入力される。種別のフィールドには、服装検出部４２が検出した髪型や服装の種別が入力される。画像のフィールドには、服装ＤＢの画像や、撮像部３０および服装検出部４２の処理に基づいた髪型や服装ごとの画像が入力される。代表色には、服装検出部４２が検出した各服装の代表色が入力される。気温及び湿度のフィールドには、温湿度計２４により検出された気温及び湿度が入力される。輪郭サイズのフィールドには、リサイズ部４３による検出結果が入力される。種別のフィールドには、服装検出部４２が検出した服装の種別（スーツ、ジャケット、和服、ワンピースなど）が入力される。なお、服装ＩＤのフィールドには、現在着ている服装と同一の服装に関するデータが服装ＤＢに存在していれば、服装ＤＢに基づいてＩＤが入力されるが、服装ＤＢに存在していなければ、空白となる。なお、季節のフィールドには、制御部６０がカレンダ部１６と温湿度計２４とに基づいて判断した季節が入力される。
　図６に戻り、ステップＳ１８に移行すると、制御部６０は、外部機器１００との通信による身なりの情報（服装の情報）の取得が必要か否かを判断する。この場合、制御部６０は、身なりログの服装ＩＤが空白であるものが存在するか否かに基づいて、外部機器１００との通信による身なりの情報（服装の情報）の取得が必要か否かを判断する。なお、髪型に関しては、服装ＩＤが空白であっても外部機器１００からの情報取得を必要としないものとする。
　ステップＳ１８の判断が肯定された場合には、ステップＳ２０に移行する。そして、ステップＳ２０では、制御部６０が、外部機器１００との通信を行う。例えば、服装検出部４２によりユーザがスーツを着ていると検出した場合でも、このスーツが前日に購入したものであれば、服装ＤＢにはこのスーツの情報が記憶されていない。そこで、制御部６０は、通信部１８を用いて外部機器１００と通信することで、スーツに関する情報を外部機器１００（店舗サーバ１００ｃ）から取得し、服装ＤＢに登録する。なお、デジカメ１００ａや、画像サーバ１００ｂには服装分析機能がない場合がある。このような場合は、前回通信した以降の画像データを取得したり、服装の色を条件として画像データを取得したりすればよい。上記のようにしてステップＳ２０の処理が行われた後は、ステップＳ２２に移行する。
　ステップＳ２２では、制御部６０は、通信部１８を用いて外部機器１００から取得した新たな服装データに基づいて、ユーザの身なり分析を再度実行する。その後は、制御部６０は、図６の全処理を終了する。なお、ステップＳ１８の判断が否定された場合にも、制御部６０は、図６の全処理を終了する。
　以上のように、図６の処理を行うことで、制御部６０は、ユーザの身なりのログをユーザに特段の操作を強いることなく、適切なタイミングでとることができる。
　なお、図６の処理では、制御部６０は、カレンダ部１６の日付（もしくは月）情報、温湿度計２４の出力に基づき、それぞれのアイテムが春夏秋冬のどの季節で用いられたかも身なりログに記憶している。すなわち、身なりログには、春夏秋冬に応じてユーザの身なり情報を記憶しているといえる。なお、アイテムによっては２シーズン（春、秋）、３シーズン（春、秋、冬）着用するものもあるので、それぞれの季節に応じた記憶は有効である。
（身なり報知処理）
　図７は、ユーザに身なりを報知するための処理を示すフローチャートである。図７の処理は、所定期間の身なりのデータが取得された後、ユーザからの要求があった段階から開始されるものとする。
　図７のステップＳ３０では、制御部６０は、週間データを比較し、表示する処理を実行する。具体的には、制御部６０は、身なりログに記憶されている本日とその前の１週間の合計８日間の身なりに関する画像データを読み出し、本日の服装とその前の１週間の服装とを比較し、この比較結果を表示する。
　この場合、制御部６０は、上半身の重ね着のパターンが同じ日が有るか無いか、上半身の服装と下半身の服装との組合せが同じ日が有るか無いか、上半身の服装の色合いと下半身の服装の色合いとが同じ日が有るか無いかを比較し、比較結果をディスプレイ１２上に表示する。また、制御部６０は、同じ項目が無い場合や、比較結果の表示を行った後などにおいて、本日を含む８日間に着用した服装のランキングをディスプレイ１２上に表示する。これにより、ユーザは、月曜日に同じ服装をしていたことや、１週間の間に白いシャツと黒いスカートの組合せが４回あったことや、各アイテムの代表色の組合せパターンが少ない、というような服装の傾向を知ることができる。
　次いで、ステップＳ３２では、制御部６０は、月間データを比較し、表示する処理を実行する。具体的には、制御部６０は、フラッシュメモリ５０に記憶されている本日を含む３０日分の身なりに関する画像データを読み出し、月単位での服装の比較を行い、この比較結果を表示する。なお、表示項目は、ステップＳ３０と同様である。ただし、これに限らず、温湿度計２４の計測結果に基づき、似たような気候（雨の日、暑めの日、寒めの日）毎に比較し、その結果を表示するようにしてもよい。これにより、ユーザは雨の日は同じ服装をしていたとか、温度に応じた服装の選択ができていたかどうかなどを知ることができる。
　次いで、ステップＳ３４では、制御部６０は、過去のデータとの比較を行う。具体的には、制御部６０は、過去（例えば昨年、一昨年）の同月・同週との服装の比較を行い、この比較結果を表示する。これにより、ユーザは毎年同じ服装であるかどうかなどを確認できるとともに、服装の購入の要否判断の一助とすることができる。また、服装の好みの変化や、リサイズ部４３の検出履歴から体型の変化や、着なくなった服の有無などを知ることができる。なお、同月・同週ではなく、同じような気候の月、週としてもよい。
　次いで、ステップＳ３６では、制御部６０は、ユーザに対して、コーディネートの提案が必要かどうかの問い合わせを行う。本実施形態では、制御部６０は、ディスプレイ１２に問い合わせのメッセージを表示する。そして、ユーザによるタッチパネル１４の操作に基づいて、コーディネートの提案が必要か否かを判断する。ここでの判断が否定された場合には、図７の全処理を終了するが、肯定された場合には、ステップＳ３８に移行する。
　ステップＳ３８に移行した場合、制御部６０は、フラッシュメモリ５０に記憶されている服装情報に基づいて、コーディネートの提案を行う。このステップＳ３８では、制御部６０は、例えば、本日撮像したユーザの髪型の画像データを取得し、同様の髪型の際にユーザが着用していた服装を提案したりすることができる。また、制御部６０は、通信部１８を介してインターネット上から流行情報、天気予報、気温予想などを取得して、これらに基づいて服装を提案したりすることができる。また、制御部６０は、季節の変わり目などにおいて気温の変化が激しく（１０℃近く）変動するような日には、天気予報、気温予想に基づき、ユーザが所持している服装からコーディネートを提案することができる。このようにすることで、ユーザに対して適切なコーディネートの情報を提供することができる。
　なお、ステップＳ３０、Ｓ３２、Ｓ３４，Ｓ３８の処理の順番は適宜変更してもよく、また、ステップＳ３０～Ｓ３４の処理については、ユーザにより選択された処理のみを実行するようにしてもよい。
　以上のような処理を行うことで、ユーザの過去の服装の傾向を表示したり、ユーザがコーディネートを必要とする場合には、制御部６０が、ユーザに対してコーディネート案を提供したりすることができる。
（新しい服装とのコーディネート提案処理）
　上述した図７のステップＳ３８の処理では、ユーザが所持している服装からコーディネートを提案するものとしたが、新しく服を購入する場合にも、ユーザは、既存の服とのコーディネートを考える必要がある。しかしながら、例えば秋服であれば８月の半ば以降から販売されるが、実際には８月は残暑も厳しく、衣替えもしていない。このため、ユーザは、新作の秋服を購入する段階では、手持ちの秋服を把握できていないことが多いことから、手持ちの秋服と類似した服や、手持ちの秋服とマッチしない服を購入してしまうことが多々ある。
　そこで、図８の処理では、ユーザが購入しようとしている新しい服装と、手持ちの服装とのコーディネートを提案する処理を実行する。なお、図８の処理は、ユーザが店舗やインターネットや雑誌などにおいて新しい服を見ているときに、ユーザの指示の下開始される処理であるものとする。なお、以下においては、ユーザが、店舗で新しい服を見ている場合について説明する。
　図８の処理では、ステップＳ４０において、制御部６０が、ユーザが購入を検討している服装データが入力されるまで待機する。なお、ユーザが服装データを入力する方法としては、店舗に置かれている端末（店舗サーバ１００ｃに接続されているものとする）に、衣服につけられたバーコードや、電子タグに近づけて読み取らせ、店舗サーバ１００ｃから携帯端末１０に服装データを送信する方法を用いることができる。また、ユーザが服装データを入力する方法としては、衣服につけられたＱＲコード（登録商標）などを携帯端末１０の撮像部３０で撮像することで、衣服のＩＤを読み込み、当該ＩＤを用いて店舗サーバ１００ｃにアクセスして、店舗サーバ１００ｃから服装データを取得する方法を用いることができる。なお、ユーザは、店舗において服装の画像を撮像することで、服装のデータを入力するようにしてもよい。
　上記のような方法によって服装データの入力があり、ステップＳ４０の判断が肯定されると、制御部６０は、ステップＳ４２において、入力された新しい服装の判別を行う。具体的には、制御部６０は、入力された服装データに基づきその服装が上半身の服装か、下半身の服装（ズボン、スカート）を判別する。また、制御部６０は、その服装が上半身の服装の場合、入力された服装データに基づきインナーかアウターかを判別したり、ユーザにインナーかアウターかを入力してもらうなどして、判別を行う。
　次いで、ステップＳ４４では、制御部６０は、ステップＳ４２で判別した服装とのコーディネートを提案するために、ユーザが所持している服装情報を服装ＤＢから読み出す。なお、ここでは、ユーザは秋物のジャケット（アウター）を新しい服装データとして入力したものとし、制御部６０は、服装ＤＢからジャケット、インナー、ズボンに関する服装情報を読み出すものとする。すなわち、制御部６０は、入力された服装データのカテゴリーが第１のカテゴリーであったときは、当該第１のカテゴリーとともに、第１のカテゴリーと異なる第２のカテゴリーの服装情報を服装ＤＢから読み出す。
　次いで、ステップＳ４６では、制御部６０は、ユーザが購入を予定しているジャケットと類似のジャケットをユーザが所持しているかどうかを判断する。この場合、制御部６０は、服装ＤＢから読み出したジャケットの服装情報（色、デザイン）と、ユーザが購入を予定しているジャケットの情報（色、デザイン）とを比較し、類似しているかどうかを判断する。このステップＳ４６の判断が否定された場合には、ステップＳ５２に移行するが、肯定された場合には、ステップＳ４８に移行する。
　ステップＳ４８に移行した場合、制御部６０は、ディスプレイ１２にユーザが所持している類似のジャケットの画像データを表示し、ユーザが手持ちのジャケットと同じようなジャケットの購入を検討していることを報知する。なお、制御部６０は、ユーザが所持している他のジャケットの画像データについてもディスプレイ１２に表示することとしてもよい。
　ステップＳ４８の処理が終了した後は、制御部６０は、ステップＳ４９において、ユーザが購入しようとしているジャケットを変更するか否かを尋ねるメッセージをディスプレイ１２上に表示する。
　次いで、ステップＳ５０では、制御部６０は、ユーザが、購入予定のジャケットを変更する旨の入力をタッチパネル１４から入力したか否かを判断する。ここでの判断が肯定された場合には、ステップＳ４０に戻るが、判断が否定された場合には、ステップＳ５２に移行する。
　ステップＳ５２では、制御部６０は、フラッシュメモリ５０からアウター以外の服装情報（すなわち、インナーの服装情報とズボンの服装情報）とを読み出し、コーディネート提案（各服装を組み合わせた表示）をディスプレイ１２に表示する。なお、コーディネート提案としては、ステップＳ４０で入力された服装の色に合った色を代表色とする手持ちの服装を表示するなどすることができる。具体的には、制御部６０は、黒とグレー、青と淡い青というように同じ色相や、近い色相になるような組合せを提案（ディスプレイ１２に表示）すればよい。また、ストライプとボーダとの着合せは一般には行なわれないため、購入予定の服がストライプであれば、制御部６０は、手持ちのボーダの服とのコーディネートを提案しないようにすればよい。同様に、制御部６０は、模様同士の着合せを提案しないようにすればよい。また、制御部６０は、手持ちの服のサムネイル画像をディスプレイ１２に表示して、タッチパネル１４によりユーザに選択させるようにしてもよい。なお、制御部６０は、色が合っているか否かを、予め定められているテンプレート（インナーの色とアウターの色の適切な組み合わせを定義したテンプレート）等に基づいて判断するようにすればよい。これにより、ユーザは店舗にいながら新しく購入を予定しているジャケットと、所持している服装とをコーディネートすることができる。なお、通販などのように購入予定の服を試着できない場合や、試着が面倒な場合には、制御部６０は、手持ちの服とのサイズ比較を行うようにすればよい。例えば、通販でスカートを購入する場合には、膝が出てしまうかどうかがわからないことがある。このような場合に、制御部６０は、同じような丈の長さのスカートの画像をディスプレイ１２に表示することにより、購入予定のスカートを着用した場合にひざが出るかどうかをユーザに視認させることができる。同様に、コートを着用した場合にスカートがコートの丈よりも長いか短いかがわからないことがある。このような場合には、制御部６０は、手持ちのコートの丈との比較により、その結果をユーザに知らせることができる。このように、本実施形態の携帯端末１０によれば、手持ちの同じカテゴリの服装の情報や、手持ちの異なるカテゴリーの服装の情報を用いて購入予定の服を着用したときの状態を確認することができる。
　なお、ステップＳ５２で行ったコーディネート提案は、図７のフローチャートのステップＳ３８へも転用することができる。
　次いで、ステップＳ５４では、制御部６０は、ユーザが本処理の継続を希望しているか否かを判断する。ここでの判断が肯定された場合には、ステップＳ４０に戻るが、否定された場合には、図８の全処理を終了する。
　以上のように、制御部６０が図８の処理を実行することで、ユーザが新しく購入しようとしている服装と、手持ちの服装とが類似する場合に、ユーザにその旨を報知したり、新しく購入しようとしている服装と、手持ちの服装とによるコーディネート案をユーザに提供したりすることができる。
　以上、詳細に説明したように、本実施形態によると、携帯端末１０が、本体部１１に設けられた第１カメラ３１と、本体部１１の第１カメラ３１とは異なる位置に設けられた第２カメラ３２、第３カメラ３３と、本体部１１の姿勢を検出する姿勢センサ２３と、姿勢センサ２３の検出結果に応じて、各カメラによる撮像を行う制御部６０と、を備えている。これにより、本実施形態では、本体部１１の姿勢に応じて、すなわち、第１～第３カメラ３１～３３の撮像可能範囲に応じて、撮像を行うことが可能となる。したがって、各カメラが適切な画像を撮像できるときに各カメラを用いた撮像が行われるため、適切な画像の撮像を自動的に行うことができ、携帯端末１０の使い勝手を向上することが可能となる。
　また、不適切な画像が撮像される可能性のあるとき（例えば盗撮になりかねない場合）に、自動的な撮像を行わないようにする（撮像を禁止する）ことができるため、この点からも、携帯端末１０の使い勝手を向上することが可能となる。
　また、本実施形態では、第１カメラ３１は本体部１１の－Ｙ側の面（主面）に設けられ、第３カメラ３３は主面とは異なる面（＋Ｙ側の面）に設けられているので、ユーザが座った状態又は立った状態で、ユーザの上半身と下半身とを同時に撮像することが可能である。
　また、本実施形態では、携帯端末１０の主面（－Ｙ側の面）に、タッチパネル１４とディスプレイ１２とが設けられているので、ユーザが携帯端末１０の操作、ディスプレイ１２の視認を行っている間に、ユーザの身なり（上半身や下半身）を撮像することができる。
　また、本実施形態では、本体部１１を保持しているユーザの姿勢を検出する加速度センサ２５を有しており、制御部６０は、加速度センサ２５の検出結果に応じて、第３カメラ３３の撮像条件を変更する。これにより、第３カメラ３３により適切な画像を撮像できるときに、第３カメラ３３による撮像を実行することができる。また、制御部６０は、加速度センサ２５の検出結果に応じて撮像された画像のトリミングを行うことで、撮像された画像のうち、撮像すべきでなかった可能性の高い部分をユーザが視認できないようにすることができる。
　また、本実施形態では、ユーザが携帯端末１０（本体部１１）を保持していることを、生体センサ２２の圧力センサ等により検出し、制御部６０は、圧力センサ等による検出がされたときに、カメラ３１～３３の少なくとも１つによる撮像を行うので、ユーザの身なり等を適切なタイミングで撮像することができる。
　また、本実施形態では、服装検出部４２が、各カメラが撮像した画像を合成するので、各カメラが撮像したユーザの部分的な画像（顔周辺、上半身、下半身などの画像）を纏めて１枚の画像とすることができる。これにより、ユーザの身なりを適切に分析することが可能となる。
　また、本実施形態では、身なりに関するデータを記憶するフラッシュメモリ５０を備えているので、制御部６０は、ユーザの現在の身なりと過去の身なりとの同一性について分析したり、ユーザの現在の身なりのコーディネート案や、新しく購入しようとしている服と手持ちの服とのコーディネート案などを提案することができる。また、本実施形態では、通信部１８が、外部機器１００から身なりに関するデータを取得するので、過去の服装（デジカメ１００ａで撮像した服装や、画像サーバ１００ｂに記憶されている服装など）のデータに基づいた、ユーザの身なりの分析を行うことが可能である。
　また、本実施形態の携帯端末１０では、制御部６０が、ユーザの服装を撮像した画像データを取得し、服装検出部４２が、画像データに基づいて、服装の組合せを判別するので、ユーザの服装の組み合わせを画像データから自動的に判別することが可能である。
　また、本実施形態では、顔認識部４１が、画像中からユーザの顔を認識するので、顔から下側の部分を服装と判断することで、ユーザの服装の組み合わせを簡易に判別することが可能である。また、顔認識結果を用いることで、ユーザの本人確認や、ユーザごとの服装管理を行うことが可能となる。
　また、本実施形態では、制御部６０は、フラッシュメモリ５０に、ユーザの服装の組み合わせの頻度を記憶させるので、当該頻度の情報をユーザに対して提供（例えば、ディスプレイ１２に表示）することができる。
　また、本実施形態の携帯端末１０は、ユーザが所持している服装データを記憶するフラッシュメモリ５０と、フラッシュメモリ５０に記憶されていない服装に関する情報を入力する通信部１８とを備えている。これにより、制御部６０は、ユーザが購入しようとしている服装（店舗サーバ１００ｃから取得）と、フラッシュメモリ５０に記憶されている手持ちの服装とのコーディネートを提案することができる。
　また、本実施形態では、制御部６０は、フラッシュメモリ５０に記憶されている手持ちの服装データの中から、ユーザが購入しようとしている服装に類似した服装データを検出し、ディスプレイ１２に表示する。これにより、ユーザが、手持ちの服装と類似する服装を新たに購入してしまうようなことを防止することができる。
　また、本実施形態では、リサイズ部４３が、ユーザの体型の変化を検出するので、当該体型の変化に関する情報をユーザに対して提供することができる。
　なお、上記実施形態では、電車の中などの外出先においてユーザを撮像し、身なりを分析する場合について説明したが、これに限られるものではない。例えば、寒い季節においては、コートを着用しているため、コートの下に何を着用しているかが外から見て判断できない場合がある。このような場合には、ユーザが室内にいるとき（例えば、日付が冬であるのに、気温（室温）が１５℃以上であるときなど）にのみ、ユーザの撮像を行うようにしてもよい。
　なお、上記実施形態では、制御部６０は、図７のステップＳ３８において、髪型等に基づいたコーディネート提案を行うものとしたが、これに限られるものではない。例えば、ユーザが海外に行く場合に、その国や都市を入力したとする。このような場合には、制御部６０は、ユーザ以外の人（例えば、画像サーバ１００ｂからその国や都市（例えばデンマーク）の在住者であり、かつユーザと同じ性別で年齢の近い人）の最近（又は前年）の服装の画像データを取得し、提供することとしてもよい。これにより、ユーザに対して、現地の気候や風土に適したコーディネートの情報を提供することができる。この場合、制御部６０は、ユーザ以外の人の服装とユーザが特定した（例えば、買おうとしている）服装とを比較して、当該比較結果を提供（表示）するようにしてもよい。
　なお、ステップＳ４８では、新しい服装の購入を検討している場合に、類似の服装をすでに保有しているのであれば、ユーザに対してその旨を報知する場合について説明したが、これに限られるものではない。例えば、服装ＤＢにおいて服装のサイズを管理しているような場合で、新しい服装のサイズと、手持ちの服装のサイズとが異なる場合には、これまでの服装が着れなくなるおそれがある旨をユーザに報知するようにしてもよい。なお、このような報知は、成長盛りである子供の洋服のコーディネートを行う場合に特に有効である。また、ユーザが自分のサイズを認識していない場合もあるので、服装ＤＢに記憶されている服装のサイズを抽出し、ディスプレイ１２に予め表示するようにしてもよい。
　更に、家族の服を購入する場合や、他人に服をプレゼントする場合には、他人のサイズやどのような服を所持しているかがわからない場合がある。このような場合には、通信部１８がデジカメ１００ａや、画像サーバ１００ｂ、店舗サーバ１００ｃから家族や他人のサイズや、家族や他人が所持している服装情報を分析し、ユーザに報知するようにしてもよい。
　なお、上記実施形態では、携帯端末１０の主面（－Ｙ側の面）に、操作部（上記実施形態ではタッチパネル１４）と表示部（上記実施形態ではディスプレイ１２）の両方が設けられている場合について説明した。しかしながら、これに限らず、少なくとも一方が設けられていればよい。
　なお、上記実施形態では、本体部１１に第１～第３カメラ３１～３３を設ける場合について説明したが、これに限られるものではない。第１～第３カメラ３１～３３のうちの少なくとも２つが設けられていればよい。すなわち、これら少なくとも２つのカメラのみならず、上記実施形態で説明したカメラ以外の１又は複数のカメラが本体部１１に設けられていてもよい。
　なお、上記実施形態においては、携帯端末１０の撮像部３０によりユーザの身なりの情報を検出したが、パーソナルコンピュータに撮像部を設けて、ユーザがパーソナルコンピュータを操作している間にユーザの身なりを検出してもよい。また、携帯端末１０とパーソナルコンピュータとを連携して、ユーザの身なりの情報を検出したり、コーディネートの情報を提供したりしてもよい。
　また、上記実施形態では、電話機能のある片手サイズの大きさである携帯端末（スマートフォン）を例にとり説明したが、タブレット型コンピュータなどの携帯端末にも、上記実施形態を適用することができる。
　なお、上記実施形態では、ユーザの身なり分析などの処理を、制御部６０が行うこととしたが、これに限られるものではない。上記実施形態で説明した制御部６０の処理の一部又は全部を、ネットワーク８０に接続された処理サーバ（クラウド）が実行することとしてもよい。
　なお、携帯端末１０において、ユーザの服装の画像データに基づいて服装の組み合わせを判別するという観点からは、携帯端末１０が第１～第３カメラ３１～３３を有していなくても良い。この場合、携帯端末１０は、外部のカメラで撮像されたユーザの服装の画像データを、通信等により取得するようにすればよい。
　上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。尚、これまでの説明で引用した公報の開示を援用して本明細書の記歳の一部とする。

Claims (45)

  1. 　本体部に設けられた第１カメラと、
    　前記本体部の前記第１カメラとは異なる位置に設けられた第２カメラと、
    　前記本体部の姿勢を検出する第１姿勢検出センサと、
    　前記第１姿勢検出センサの検出結果に応じて、前記第１、第２カメラによる撮像を行う制御部と、を備えたことを特徴とする電子機器。
  2. 　前記制御部は、前記第１姿勢検出センサの検出結果に応じて、前記第１、第２カメラの少なくとも一方による撮像を禁止することを特徴とする請求項１に記載の電子機器。
  3. 　前記第１カメラは前記本体部の第１の面に設けられ、前記第２カメラは前記第１の面とは異なる第２の面に設けられていることを特徴とする請求項１又は２に記載の電子機器。
  4. 　前記本体部の前記第１の面には、操作部と表示部との少なくとも一方が設けられていることを特徴とする請求３に記載の電子機器。
  5. 　前記本体部を携帯しているユーザの姿勢を検出する第２姿勢検出センサを備えたことを特徴とする請求項１～４のいずれか一項に記載の電子機器。
  6. 　前記制御部は、前記第２姿勢検出センサの検出結果に応じて、前記第２カメラの撮像条件と、前記第２カメラの撮像後の処理との少なくとも一方を変更することを特徴とする請求項５に記載の電子機器。
  7. 　前記本体部を保持しているユーザとの距離を検出する距離センサを備えたことを特徴とする請求項１～６のいずれか一項に記載の電子機器。
  8. 　前記制御部は、前記本体部をユーザが保持しているときに、前記第１、第２カメラの少なくとも一方による撮像を行うことを特徴とする請求項１～７のいずれか一項に記載の電子機器。
  9. 　前記本体部には、生体情報を取得する生体センサが設けられていることを特徴とする請求項１～８のいずれか一項に記載の電子機器。
  10. 　前記本体部の前期第１カメラが撮像した画像と、前記第２カメラが撮像した画像とを合成する合成部を備えたことを特徴とする請求項１～９のいずれか一項に記載の電子機器。
  11. 　前記第１の面の前記第１カメラとは異なる位置に設けられた第３カメラを備えたことを特徴とする請求項１～１０のいずれか一項に記載の電子機器。
  12. 　身なりに関するデータを記憶するメモリを備えたことを特徴とする請求項１～１１のいずれか一項に記載の電子機器。
  13. 　前記メモリに記憶されているデータと、前記第１、第２カメラが撮像した画像データとを比較する比較部を備えたことを特徴とする請求項１２に記載の電子機器。
  14. 　外部機器から身なりに関するデータを取得する取得部を備えたことを特徴とする請求項１～１３のいずれか一項に記載の電子機器。
  15. 　ユーザの動きを検出する動き検出センサと、
    　本体部の姿勢を検出する姿勢検出センサと、
    　前記本体部に設けられ、処理を行う処理部と、
    　前記動き検出センサと前記姿勢検出センサとの検出結果に基づいて、前記処理部による処理を制御する制御部と、を備えたことを特徴とする電子機器。
  16. 　前記制御部は、前記動き検出センサの出力が所定の値よりも小さくなったときに、前記処理部による処理を行うことを特徴とする請求項１５に記載の電子機器。
  17. 　前記処理部は、撮像を行う撮像部であることを特徴とする請求項１５又は１６に記載の電子機器。
  18. 　ユーザの服装を撮像した画像データを取得する取得部と、
    　前記画像データに基づいて、前記服装の組合せを判別する判別部と、を備えたことを特徴とする電子機器。
  19. 　本体部に設けられた撮像部を備え、
    　前記撮像部は、前記本体部が前記ユーザに保持されているときに、前記ユーザの服装を撮像することを特徴する請求項１８に記載の電子機器。
  20. 　前記判別部は、前記画像データの色情報に基づいて、前記服装の組合せを判別することを特徴とする請求項１８又は１９に記載の電子機器。
  21. 　前記画像データに基づいて、前記ユーザの顔認識をする顔認識部を備えたことを特徴とする請求項１８～２０のいずれか一項に記載の電子機器。
  22. 　前記判別部は、前記画像データに基づいて、服装の重ねを検出することを特徴とする請求項１８～２１のいずれか一項に記載の電子機器。
  23. 　前記判別部は、前記服装の襟部に基づいて、前記服装の重ねを検出することを特徴とする請求項２２に記載の電子機器。
  24. 　前記判別部は、前記ユーザの肌の検出結果に基づいて、前記服装の重ねを検出することを特徴とする請求項２２又は２３に記載の電子機器。
  25. 　前記判別部は、前記画像データの服装部分を拡大したときのパターンの違いに基づいて、前記服装の重ねを検出することを特徴とする請求項２２～２４のいずれか一項に記載の電子機器。
  26. 　前記撮像部は、第１カメラと、該第１カメラから所定距離離れた位置に設けられた第２カメラとを備えていることを特徴とする請求項１９に記載の電子機器。
  27. 　前記第１カメラと前記第２カメラとは前記本体部の異なる面に設けられていることを特徴とする請求項２６に記載の電子機器。
  28. 　服装に関するデータを記憶するメモリを備えたことを特徴とする請求項１８～２７のいずれか一項に記載の電子機器。
  29. 　前記メモリは、前記服装の組合せの頻度を記録することを特徴とする請求項２８に記載の電子機器。
  30. 　前記メモリに記録されている、所定期間内における前記服装の組み合わせの頻度を表示する表示部を備えたことを特徴とする請求項２９に記載の電子機器。
  31. 　前記判別部は、前記画像データに基づいて、ユーザの髪型及びユーザが身に着けている装飾品の少なくとも一方を判別することを特徴とする請求項１８～３０のいずれか一項に記載の電子機器。
  32. 　ユーザが所持している服装に関する情報を記憶するメモリと、
    　前記メモリに記憶されていない服装に関する情報を入力する入力部と、を備えたことを特徴とする電子機器。
  33. 　前記入力部に入力された服装に関する情報に応じて、前記メモリに記憶されている服装に関する情報を表示する表示部を備えたことを特徴とする請求項３２に記載の電子機器。
  34. 　前記表示部は、前記入力部に入力された服装に関する情報が第１のカテゴリーであるときに、前記メモリから前記第１のカテゴリーとは異なる第２のカテゴリーの服装に関する情報を表示することを特徴とする請求項３３に記載の電子機器。
  35. 　前記表示部は、前記入力部に入力された服装に関する情報と、前記メモリに記憶されている服装に関する情報とを組み合わせて表示することを特徴とする請求項３３又は３４に記載の電子機器。
  36. 　前記メモリに記憶されている服装に関する情報の中から、前記入力部に入力された服装に関する情報に類似した服装に関する情報を検出する検出部を備え、
    　前記表示部は、前記検出部により検出された類似した服装情報を表示することを特徴とする請求項３３～３５のいずれか一項に記載の電子機器。
  37. 　前記入力部に入力された服装に関する情報に基づいて、前記体型の変化を検出する体型変化検出部を備えたことを特徴とする請求項３２～３６のいずれか一項に記載の電子機器。
  38. 　ユーザ以外の人の服装に関する情報を取得する取得部と、
    　前記ユーザが特定した服装に関する情報を入力する入力部と、を備えたことを特徴とする電子機器。
  39. 　前記ユーザ以外の人の服装に関する情報と、前記ユーザが特定した服装に関する情報と、を比較する比較部を備えたことを特徴とする請求項３８に記載の電子機器。
  40. 　前記比較部による比較結果を表示する表示部を備えたことを特徴とする請求項３９に記載の電子機器。
  41. 　前記入力部に入力される情報には前記服装の色相に関する情報が含まれており、
    　前記メモリに記憶されている服装の情報から前記色相と同じまたは近い色相の情報を抽出する第１抽出部を備えたことを特徴とする請求項３２～４０のいずれか一項に記載の電子機器。
  42. 　前記入力部に入力される情報には前記服装のサイズに関する情報が含まれており、
    　前記メモリに記憶されている服装の情報から前記サイズに応じた情報を抽出する第２抽出部を備えたことを特徴とする請求項３２～４１のいずれか一項に記載の電子機器。
  43. 　前記第２抽出部は、前記入力部に入力された服装と同じカテゴリの服装の情報を抽出することを特徴とする請求項４２に記載の電子機器。
  44. 　前記第２抽出部は、前記入力部に入力された服装と異なるカテゴリの服装の情報を抽出することを特徴とする請求項４２に記載の電子機器。
  45. 　前記入力部に入力される情報には、前記服装の柄に関する情報が含まれており、
    　前記メモリに記憶されている服装の情報から前記柄に応じて情報の抽出を規制する規制部を備えたことを特徴とする請求項３２～４４のいずれか一項に記載の電子機器。
PCT/JP2012/075928 2012-03-27 2012-10-05 電子機器 WO2013145387A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280071880.0A CN104247393A (zh) 2012-03-27 2012-10-05 电子设备
US14/389,049 US20150084984A1 (en) 2012-03-27 2012-10-05 Electronic device
IN7947DEN2014 IN2014DN07947A (ja) 2012-03-27 2012-10-05

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2012072217A JP2013205969A (ja) 2012-03-27 2012-03-27 電子機器
JP2012072216A JP2013207407A (ja) 2012-03-27 2012-03-27 電子機器
JP2012-072215 2012-03-27
JP2012-072217 2012-03-27
JP2012072215A JP2013207406A (ja) 2012-03-27 2012-03-27 電子機器
JP2012-072216 2012-03-27

Publications (1)

Publication Number Publication Date
WO2013145387A1 true WO2013145387A1 (ja) 2013-10-03

Family

ID=49258728

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/075928 WO2013145387A1 (ja) 2012-03-27 2012-10-05 電子機器

Country Status (4)

Country Link
US (1) US20150084984A1 (ja)
CN (1) CN104247393A (ja)
IN (1) IN2014DN07947A (ja)
WO (1) WO2013145387A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016042795A1 (ja) * 2014-09-19 2016-03-24 富士ゼロックス株式会社 情報処理装置、情報処理プログラム、情報処理方法及び記憶媒体

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013166588A1 (en) 2012-05-08 2013-11-14 Bitstrips Inc. System and method for adaptable avatars
EP3007155B1 (en) * 2013-03-12 2018-10-24 Arizona Board of Regents, a Body Corporate of the State of Arizona acting for and on behalf of Arizona State University Image processing of dendritic structures used in tags as physical unclonable function for anti-counterfeiting
US10810731B2 (en) 2014-11-07 2020-10-20 Arizona Board Of Regents On Behalf Of Arizona State University Information coding in dendritic structures and tags
US9426433B1 (en) 2015-03-09 2016-08-23 Mutualink, Inc. System and method for biosensor-triggered multimedia collaboration
CN105681649B (zh) * 2015-12-31 2019-11-26 联想(北京)有限公司 一种控制方法及图像采集装置
CN105718887A (zh) * 2016-01-21 2016-06-29 惠州Tcl移动通信有限公司 基于移动终端摄像头实现动态捕捉人脸摄像的方法及系统
US10339365B2 (en) 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
WO2017216919A1 (ja) * 2016-06-16 2017-12-21 株式会社オプティム 服装情報提供システム、服装情報提供方法、およびプログラム
WO2018049630A1 (zh) * 2016-09-14 2018-03-22 华为技术有限公司 一种拍照方法及终端
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US10454857B1 (en) * 2017-01-23 2019-10-22 Snap Inc. Customized digital avatar accessories
US11430233B2 (en) 2017-06-16 2022-08-30 Arizona Board Of Regents On Behalf Of Arizona State University Polarized scanning of dendritic identifiers
US10803297B2 (en) * 2017-09-27 2020-10-13 International Business Machines Corporation Determining quality of images for user identification
US10776467B2 (en) 2017-09-27 2020-09-15 International Business Machines Corporation Establishing personal identity using real time contextual data
US10795979B2 (en) 2017-09-27 2020-10-06 International Business Machines Corporation Establishing personal identity and user behavior based on identity patterns
US10839003B2 (en) 2017-09-27 2020-11-17 International Business Machines Corporation Passively managed loyalty program using customer images and behaviors
US10565432B2 (en) 2017-11-29 2020-02-18 International Business Machines Corporation Establishing personal identity based on multiple sub-optimal images
WO2019210129A1 (en) 2018-04-26 2019-10-31 Kozicki Michael N Fabrication of dendritic structures and tags
US11122199B2 (en) * 2020-01-22 2021-09-14 International Business Machines Corporation Methods for adjusting characteristics of photographs captured by electronic devices and related program products
US11895368B2 (en) * 2022-03-04 2024-02-06 Humane, Inc. Generating, storing, and presenting content based on a memory metric

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004297251A (ja) * 2003-03-26 2004-10-21 Fuji Photo Film Co Ltd 携帯端末
JP2009111843A (ja) * 2007-10-31 2009-05-21 Sony Corp 撮像装置、撮像方法
JP2009118134A (ja) * 2007-11-06 2009-05-28 Sony Corp 自動撮像装置、自動撮像制御方法、画像表示システム、画像表示方法、表示制御装置、表示制御方法
JP2009216743A (ja) * 2008-03-07 2009-09-24 Canon Inc 像振れ補正カメラ
JP2011070475A (ja) * 2009-09-28 2011-04-07 Nec Corp 携帯端末及び情報提供方法ならびにそのためのプログラム
JP2011087183A (ja) * 2009-10-16 2011-04-28 Olympus Imaging Corp 撮影装置、画像処理装置、およびプログラム
JP2012029138A (ja) * 2010-07-26 2012-02-09 Olympus Corp 撮像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288482A (ja) * 2001-03-23 2002-10-04 Matsushita Electric Ind Co Ltd 服飾情報サーバ装置及び服飾情報管理方法
KR100631581B1 (ko) * 2004-08-18 2006-10-09 엘지전자 주식회사 패션 코디네이션 기능을 구비한 이동통신 단말기 및 이를이용한 코디네이션 방법
CN101079135A (zh) * 2006-05-24 2007-11-28 严晓敏 具有辅助客户端图像显示的在线网络销售方法及系统
CN101183450A (zh) * 2006-11-14 2008-05-21 朱滨 虚拟服装真人试穿系统及其构建方法
CN101034460A (zh) * 2007-04-13 2007-09-12 东华大学 一种服装在线销售优选号型的方法
US8103551B2 (en) * 2007-07-31 2012-01-24 Style Du Jour, Inc. Fashion matching algorithm solution
JP2011165032A (ja) * 2010-02-12 2011-08-25 Buffalo Inc コンピュータプログラム及びデータバックアップ方法
CN101866471A (zh) * 2010-05-28 2010-10-20 马腾 服装试穿系统及操作方法
US20120066315A1 (en) * 2010-09-14 2012-03-15 Douglas Louis Tuman Visual identifiers as links to access resources
CN102185959A (zh) * 2010-12-23 2011-09-14 上海华勤通讯技术有限公司 利用移动通信终端进行服饰搭配的方法
US20130018763A1 (en) * 2011-07-14 2013-01-17 Dare Ajala Systems and methods for creating and using a graphical representation of a shopper

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004297251A (ja) * 2003-03-26 2004-10-21 Fuji Photo Film Co Ltd 携帯端末
JP2009111843A (ja) * 2007-10-31 2009-05-21 Sony Corp 撮像装置、撮像方法
JP2009118134A (ja) * 2007-11-06 2009-05-28 Sony Corp 自動撮像装置、自動撮像制御方法、画像表示システム、画像表示方法、表示制御装置、表示制御方法
JP2009216743A (ja) * 2008-03-07 2009-09-24 Canon Inc 像振れ補正カメラ
JP2011070475A (ja) * 2009-09-28 2011-04-07 Nec Corp 携帯端末及び情報提供方法ならびにそのためのプログラム
JP2011087183A (ja) * 2009-10-16 2011-04-28 Olympus Imaging Corp 撮影装置、画像処理装置、およびプログラム
JP2012029138A (ja) * 2010-07-26 2012-02-09 Olympus Corp 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016042795A1 (ja) * 2014-09-19 2016-03-24 富士ゼロックス株式会社 情報処理装置、情報処理プログラム、情報処理方法及び記憶媒体

Also Published As

Publication number Publication date
US20150084984A1 (en) 2015-03-26
CN104247393A (zh) 2014-12-24
IN2014DN07947A (ja) 2015-05-01

Similar Documents

Publication Publication Date Title
WO2013145387A1 (ja) 電子機器
JP2013205969A (ja) 電子機器
US20200222809A1 (en) Generating and utilizing digital avatar data for online marketplaces
US7454216B2 (en) in-facility information provision system and in-facility information provision method
JP5929145B2 (ja) 電子機器、情報処理方法およびプログラム
JP2013207407A (ja) 電子機器
JP2017076315A (ja) 画像処理装置、画像処理方法及びプログラム
JP5504807B2 (ja) コーディネート画像作成装置、コーディネート画像作成方法およびプログラム
GB2403363A (en) Tags for automated image processing
US20150018023A1 (en) Electronic device
US20220327747A1 (en) Information processing device, information processing method, and program
JP5264634B2 (ja) コーディネートシステム、コーディネート方法及びプログラム
US10453265B1 (en) Method and device for the virtual try-on of garments based on augmented reality with multi-detection
US20230162533A1 (en) Information processing device, information processing method, and program
JP6656572B1 (ja) 情報処理装置、表示制御方法および表示制御プログラム
JP2013207406A (ja) 電子機器
JP2014042190A (ja) 制御システムおよびプログラム
CN110197420A (zh) 一种智能试衣系统
KR20200079721A (ko) 스마트 의류 관리 시스템 및 그 방법
JP2004086662A (ja) 服試着サービス提供方法および服試着システム、利用者端末装置、プログラム、携帯電話機搭載用プログラム、並びに管理サーバ
JP4427714B2 (ja) 画像認識装置、画像認識処理方法および画像認識プログラム
KR20140139901A (ko) 의류 관리 및 코디네이션 기능을 갖춘 어플리케이션
JP2006155545A (ja) 画像評価装置及びカメラ付き携帯端末
JPWO2020059263A1 (ja) 画像提案装置、画像提案方法及び画像提案プログラム
JP7004131B2 (ja) 管理システム、管理方法及び管理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12873037

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 14389049

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12873037

Country of ref document: EP

Kind code of ref document: A1