WO2021117533A1 - ヘルスケアシステム及び処理装置 - Google Patents

ヘルスケアシステム及び処理装置 Download PDF

Info

Publication number
WO2021117533A1
WO2021117533A1 PCT/JP2020/044527 JP2020044527W WO2021117533A1 WO 2021117533 A1 WO2021117533 A1 WO 2021117533A1 JP 2020044527 W JP2020044527 W JP 2020044527W WO 2021117533 A1 WO2021117533 A1 WO 2021117533A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
display
operation mode
model
Prior art date
Application number
PCT/JP2020/044527
Other languages
English (en)
French (fr)
Inventor
稲田 二千武
Original Assignee
ファミリーイナダ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファミリーイナダ株式会社 filed Critical ファミリーイナダ株式会社
Publication of WO2021117533A1 publication Critical patent/WO2021117533A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training

Definitions

  • This disclosure relates to healthcare systems and processing equipment.
  • Patent Document 1 For example, in Japanese Patent Application Laid-Open No. 2015-509772 (hereinafter referred to as Patent Document 1), fitness exercises executed by an actual fitness trainer are recorded and digitized, and fitness exercises performed by a virtual fitness trainer can be reproduced on a display unit as fitness exercises.
  • the device is disclosed.
  • one function such as a sensor device is used for a single operation mode such as recording fitness exercise.
  • a single operation mode such as recording fitness exercise.
  • various approaches to healthcare that may not be covered by a single mode of operation. In that respect, if a plurality of operation modes are installed, a plurality of functions are required. Therefore, a healthcare system and a processing device capable of executing a plurality of operation modes while suppressing an increase in functions that need to be installed are provided.
  • the healthcare system comprises a camera and a controller, each of which is capable of performing multiple modes of operation using the camera, the plurality of modes of operation being the user with the camera.
  • the processing device comprises a display that is used fixed to the structure and a controller that can execute an operation mode using the display, and the display is for a fixture to the structure. It is possible to switch to different orientations, and the controller detects the orientation of the display when the operation mode is executed, and changes the processing of the operation mode according to the detection result.
  • FIG. 1 is a schematic view showing a specific example of the configuration of a healthcare system (hereinafter referred to as a system) according to an embodiment.
  • FIG. 2 is a schematic diagram of the configuration of a processing device included in the system.
  • FIG. 3 is a schematic diagram of the configuration of a user device included in the system.
  • FIG. 4 is a diagram showing the transition of the operation mode in the system.
  • FIG. 5 is a diagram illustrating the orientation of the display of the user device and the corresponding operation modes.
  • FIG. 6 is a diagram showing the relationship between the orientation of the display and the operation in each operation mode.
  • FIG. 7 is a diagram showing a specific example of the model image database (DB).
  • FIG. 8 is a diagram showing a specific example of the user image DB.
  • FIG. DB model image database
  • FIG. 9 is a diagram showing a specific example of the pattern table.
  • FIG. 10 is a schematic view showing each process executed by the processor of the processing device.
  • FIG. 11 is a diagram illustrating a method of generating a user image.
  • FIG. 12 is a diagram showing a flow of display processing of the fitting image.
  • FIG. 13 is a schematic view showing a specific example of a screen for selecting an ornament in the fitting mode.
  • FIG. 14 is a schematic view illustrating a method of generating a fitting image.
  • FIG. 15 is a flowchart showing an example of the flow of the proposal processing.
  • FIG. 16 is a schematic view showing an example of a pattern proposal screen.
  • FIG. 17 is a flowchart showing another example of the flow of the proposed process.
  • FIG. 18 is a schematic view showing an example of a pattern proposal screen.
  • FIG. 19 is a schematic view showing an example of a pattern proposal screen.
  • FIG. 20 is a diagram showing a specific example of the flow of the lesson mode.
  • FIG. 21 is a diagram showing a specific example of the display screen in the lesson mode.
  • FIG. 22 is a schematic view showing another specific example of the display screen in the fitting mode.
  • FIG. 23 is a schematic view showing a specific example of the configuration of a healthcare system (hereinafter, system) according to another embodiment.
  • the healthcare system includes a camera and a controller, each of which can execute a plurality of operation modes using a camera, and the plurality of operation modes depend on the camera.
  • the captured image is used to display at least a part together with at least a part of the model image in which the clothing is attached, and in the second operation mode, the photographed image is photographed. Images are used to detect user behavior. In this way, a single camera performs different functions depending on the operating mode.
  • a first area which is a pre-stored range of the captured image
  • a second area which is a pre-stored range of the model image
  • the healthcare system includes a first memory in which different clothing items are attached and stores a plurality of model images, an input device that accepts input of a clothing item selection result from different clothing items, and the like.
  • the first operation mode includes extracting a model image of the clothing item selected in the selection result from the first memory to obtain a fitting image. As a result, a fitting image as if the selected clothing item was tried on can be obtained.
  • the first memory stores a plurality of model images having different body shapes for the same clothing item, and the first operation mode is set to the user's body shape from among the plurality of model images having different body shapes. Includes extracting the corresponding model image to obtain a fitting image. As a result, a fitting image close to the state in which the user actually tried on can be obtained.
  • the first memory stores, for the same clothing item, a first model image in which the model is photographed from the front and a second model image in which the model is photographed from a position other than the front.
  • the operation mode includes obtaining a fitting image from the first model image and displaying the fitting image and the second model image in association with each other. Displaying in association with each other means, for example, displaying them side by side on the same display screen. Further, the display in association with each other may be switched by a button operation or the like. As a result, the user can confirm the fitting state of himself / herself from the fitting image from the front, and can also confirm the fitting state other than the front such as the back.
  • the model image stored in the first memory has different attributes set according to the distance from the camera to the model, and the first operation mode corresponds to the size of the user.
  • the size of at least one of the first area and the second area is changed based on the relationship between the attribute and the attribute set in the model image, and the two changed areas are arranged according to the relationship of the attributes. Includes arranging in the same screen based on. As a result, a higher quality fitting image can be obtained.
  • At least one of the captured image and the model image is a moving image.
  • the matching degree of the user's user characteristics with respect to the pattern of the combination of a plurality of clothing items is calculated for each pattern using an arithmetic model, and based on the calculated matching degree.
  • a model image wearing one or more patterns including presenting one or more patterns, is a model image wearing one or more patterns.
  • the calculation model includes information that defines the degree of matching for each user characteristic for the pattern. Therefore, the degree of matching can be calculated using the calculation model.
  • calculating the degree of matching includes calculating the degree of matching for a pattern selected by the user among a plurality of patterns. As a result, the degree of matching for the pattern desired by the user can be obtained.
  • calculating the matching degree includes calculating the matching degree for each of the plurality of patterns, and at least a pattern proposed to the user from among the plurality of patterns is selected based on the matching degree of each of the plurality of patterns. Select one. As a result, a pattern to be proposed to the user is selected based on the degree of matching.
  • the device that executes the purchase process of the instructed clothing item is instructed to perform the clothing item. Includes sending information necessary for the purchase process of. As a result, it is possible to purchase clothing items by a simple operation.
  • the instruction image includes a sample image of the operation by the instructor
  • the second operation mode is to capture the operation of the user while displaying the instruction image with a camera and to display the sample image. ,including.
  • the user can operate while viewing the sample image.
  • the second operation mode further includes displaying a captured image of the user captured by the camera. This makes it easier for the user to compare his or her behavior with the sample image.
  • an input device for inputting advice is further provided. Therefore, the advice input from the input device is output.
  • the processing apparatus includes a display fixed to the structure and a controller capable of executing an operation mode using the display, and the display is attached to a fixture to the structure. It is possible to switch to different orientations, and the controller detects the orientation of the display when the operation mode is executed, and changes the processing of the operation mode according to the detection result. As a result, processing of different operation modes can be obtained depending on the orientation of the display.
  • the operation mode includes a plurality of processes corresponding to different orientations of the display, and different processing of the operation mode causes the controller to execute the processing corresponding to the detected display orientation. Including that.
  • processing corresponding to the orientation of the display is performed.
  • the orientation of the display suitable for execution is defined for each operation mode, and different processing of the operation mode is suitable for the operation mode executed by the controller in the detected display orientation.
  • processing different from that in the case where the display is oriented in a suitable orientation is performed.
  • the different processes include, for example, a process of displaying different sizes, a process of notifying that the orientation is not suitable, and the like.
  • what is different from the execution of the operation mode when the orientation is suitable is to wait for the start of the operation mode until it is detected that the orientation of the display is suitable for the operation mode. including.
  • the operation is started only when the orientation of the display is suitable.
  • the processing device further includes a mechanism for switching the orientation of the display, and different from the execution of the operation mode when the orientation is suitable causes the operation mode to be executed and the orientation of the display to be changed to the operation mode. It includes controlling the mechanism for switching the orientation so as to have a suitable orientation. As a result, in a certain operation mode, if the orientation of the display is not suitable, the orientation is automatically changed to the suitable orientation before the operation is started.
  • the healthcare system (hereinafter, system) 100 is a system that can totally support the user's healthcare.
  • Health care here means mental and physical health care, and in addition to physical health care exerted by exercise and beauty, mental health care is also intended.
  • Health care for the body involves movements such as exercise and cosmetology, and provides guidance on those movements.
  • it is realized in an operation mode called a lesson mode.
  • Mental health care provides output that satisfies fashion aspirations, entertainment and aesthetic desires, and displays such information.
  • they are realized in the fitting mode, the painting mode, and the operation mode called the television (TV) mode, respectively.
  • TV television
  • the system 100 includes a processing device 1.
  • the system 100 also includes user devices 5A and 5B.
  • the user devices 5A and 5B are also referred to as the user device 5 as a representative.
  • the processing device 1 functions as a controller of the user device 5.
  • the user devices 5A and 5B are, for example, the same device.
  • the user device 5A is assumed to be used by the user A who executes an operation related to healthcare.
  • the user device 5B is assumed to be used by the user B who is a supporter who guides the operation related to the healthcare of the user A.
  • the "user" who does not distinguish between user A and user B may be any user.
  • the user device 5 has a display 54 as an example of a functional unit, and is a device that outputs information to the user. Further, the user device 5 has a camera 56 as an example of the functional unit, and photographs the vicinity of the user device 5.
  • the display 54 and the camera 56 are examples of the functions of the user device 5.
  • the processing device 1 and the user device 5 can be connected to a communication network 2 such as the Internet.
  • the processing device 1 transmits a control signal to the user device 5 to control the operation of the user device 5.
  • the user device 5 transmits the data obtained by the operation to the processing device 1.
  • the processing device 1 is composed of a computer having a processor 11 and a memory 12.
  • the memory 12 may be a primary storage device or a secondary storage device.
  • the processing device 1 further includes a communication device 13 for accessing the communication network 2.
  • the memory 12 has various databases (DB). Further, the memory 12 stores a plurality of programs for a plurality of operation modes executed by the processor 11.
  • the plurality of programs stored in the memory 12 include a fitting mode program 126 that causes the processor 11 to execute the fitting mode processing 111 described later. Further, the plurality of programs include a lesson mode program 127 for causing the processor 11 to execute the lesson mode process 116 described later. Further, the plurality of programs include a painting mode program 128 for causing the processor 11 to execute the painting mode processing 118 described later. Further, the plurality of programs include a TV mode program 129 for causing the processor 11 to execute the television (TV) mode processing 119 described later.
  • TV television
  • the processor 11 By executing each of the plurality of programs stored in the memory 12, the processor 11 has a plurality of operation modes such as fitting mode processing 111, lesson mode processing 116, painting mode processing 118, and TV mode processing 119. Is feasible.
  • the fitting mode processing 111, the lesson mode processing 116, the painting mode processing 118, and the TV mode processing 119 are examples of a plurality of operation modes that can be executed by the processor 11.
  • the fitting mode processing 111 is an operation mode in which the fitting image is displayed on the display 54 of the user device 5 and various operations are performed using the display.
  • the fitting image refers to an image in which at least a part of the user image and at least a part of the model image equipped with the selected pattern are displayed together. At least a part of the user image is an area including a user's face, and at least a part of a model image is an area including clothing. As a result, an image of wearing the clothing selected by the user is displayed on the display 54 of the user device 5, and even if the user does not actually try on the clothing, the image can be confirmed as if the user tried on the clothing. Details will be described later.
  • the lesson mode process 116 is an operation mode in which a guidance image for the user A's healthcare-related operation is displayed on the user device 5A.
  • Healthcare movements include cosmetological massage movements.
  • health care movements include sports movements.
  • Sports movements include, for example, movements such as dance and strength training. As a result, the user A can perform an operation related to health care without going to a sports gym or an aesthetic salon, and can see a guidance image at that time. Details will be described later.
  • the painting mode processing 118 is an operation mode in which an image based on display data stored in advance is displayed on the user device 5 at predetermined time intervals.
  • the image may be, for example, a painting, and one or more may be displayed.
  • different paintings may be displayed for a certain period of time.
  • the user device 5 can be used like a picture frame or a hanging scroll, and a high interior quality can be obtained.
  • the TV mode process 119 is an operation mode instructing the user device 5 to receive and reproduce the TV broadcast wave. As a result, the TV program is played back from the user device 5. Therefore, the user device 5 can be used as a television.
  • the user device 5 includes a control device 50, a display 54 as an output function, and a camera 56 as an input function.
  • the control device 50 includes a processor 51 and a memory 52. Further, as an output function, a speaker 55 may be further provided. Further, as an input function, an input device 59 such as a microphone 57 or a touch panel may be provided. Further, the user device 5 further includes a communication device 53 for accessing the communication network 2 and communicating with the physical information acquisition device W (see FIG. 23) described later.
  • the memory 52 may be a primary storage device or a secondary storage device.
  • the memory 52 stores a plurality of programs for a plurality of operation modes executed by the processor 51. It should be noted that the instruction image described later can be stored in the memory 52 or the memory 12 of the processing device 1.
  • the plurality of programs stored in the memory 52 include a fitting mode program 521 that causes the processor 51 to execute the fitting mode processing 511 described later. Further, the plurality of programs include a lesson mode program 522 for causing the processor 51 to execute the lesson mode process 514 described later. Further, the plurality of programs include a painting mode program 523 for causing the processor 51 to execute the painting mode processing 517 described later. Further, the plurality of programs include a TV mode program 524 for causing the processor 51 to execute the television (TV) mode processing 518 described later.
  • TV television
  • the processor 51 executes a process according to a control signal transmitted from the processing device 1 by executing a program stored in the memory 52. Specifically, the processor 51 executes, for example, the fitting mode processing 511, the lesson mode processing 514, and the painting by executing each of the plurality of programs stored in the memory 52 according to the control signal transmitted from the processing device 1. It is possible to execute a plurality of operation modes such as mode processing 517 and TV mode processing 518.
  • the fitting mode processing 511, the lesson mode processing 514, the painting mode processing 517, and the TV mode processing 518 are examples of a plurality of operation modes that can be executed by the processor 51.
  • the fitting mode processing 511 is an operation mode in which the fitting image is displayed on the display 54 according to the instruction from the processing device 1 and various operations are performed using the display.
  • the lesson mode processing 514 takes a picture of the user A with the camera 56 according to the instruction from the processing device 1, transmits the photographed image to the processing device 1, displays the instruction image, and gives advice on the operation related to the health care of the user A. Is the operation mode to output.
  • the painting mode processing 517 is an operation mode for displaying an image based on the display data transmitted according to the instruction from the processing device 1 on the display 54.
  • the TV mode processing 518 is an operation mode in which the TV broadcast wave is received and reproduced according to the instruction from the processing device 1.
  • the initial state S0 is switched to the fitting mode S1, the lesson mode S2, the painting mode S3, and the TV mode S4 according to the instruction of the user.
  • the initial state S0 is, for example, a state in which the home screen is displayed on the display 54 of the user device 5 and the operation mode can be selected.
  • the system 100 may include operation modes other than these.
  • the plurality of operation modes that can be executed by the system 100 include a plurality of modes in which the camera 56 is commonly used.
  • the plurality of operation modes using the camera 56 are the fitting mode S1 and the lesson mode S2 in the example of FIG.
  • the camera 56 is commonly used in the above-mentioned plurality of operation modes, the camera 56 fulfills different functions in these operation modes. That is, referring to FIG. 4, in the fitting mode S1, the camera 56 is used for the shooting S100 of the user A. The photographed image obtained in the photographing S100 is used as a user image to be displayed together with the model image at the time of displaying the fitting image S102.
  • the camera 56 is used for the detection S200 of the operation of the user A.
  • the motion detection S200 includes displaying the captured image obtained by the camera 56 on the user device 5B, and detecting the motion of the user A from the image by the user B. Further, the motion detection S200 may include detecting the motion of the user A by performing image analysis on the captured image obtained by the camera 56. Detecting a user's motion by image analysis is, for example, detecting the number of specific actions performed by the user. Based on the detected user action, the advice output S202 is output in the user device 5A.
  • the functional unit can be compared to the case where each functional unit is prepared for each required function.
  • the number can be reduced. That is, in the case of this example, a common camera 56 can be used in each operation mode without mounting two or more cameras for each operation mode. As a result, the device can be simplified.
  • the display 54 of the user device 5 is rectangular.
  • the display 54 is life-sized.
  • the life-size refers to a size in which the length in the longitudinal direction is longer than the height of a general adult, and the length in the longitudinal direction is, for example, about 150 cm to 200 cm. As a result, the whole body of the user photographed by the camera 56 is displayed on the display 54.
  • the life-sized display 54 is used by being fixed to a structure such as a floor surface or a wall surface by a fixture 6.
  • the structure also includes a TV stand installed on the floor.
  • the fixture 6 is, for example, a part of a television stand.
  • the display 54 is fixed to the TV stand, which is a structure, by a fixture 6.
  • the display 54 has a variable orientation with respect to the fixture 6 in a first orientation and a second orientation.
  • the first orientation is the orientation in which the long side is vertical and the short side is horizontal, that is, the longitudinal direction is vertical
  • the second orientation is the long side in horizontal and short.
  • the orientation is such that the sides are vertically elongated, that is, the longitudinal direction is horizontally oriented.
  • the orientation of the display 54 can be changed by physically rotating the display 54.
  • a rotating member is provided at the connection portion between the fixture 6 and the display 54.
  • the rotating member is a member that rotates when operated by a person.
  • the rotation of the rotating member may be controlled according to a control signal from the processing device 1.
  • the camera 56 performs a shooting operation according to the control of the processor 51 or automatically, and inputs the shooting data to the processor 51.
  • the camera 56 is built in the display 54 so that the front surface of the display 54 is the shooting range.
  • the side of the display 54 facing the user is the front surface.
  • the camera 56 is installed at a height near the user's head when the display 54 is in the first orientation and the user stands in front of the display 54.
  • the whole body of the user standing in front of the display 54 can be photographed by the camera 56 in the first orientation.
  • the orientation of the display 54 suitable for execution is defined for each operation mode. That is, with reference to FIG. 5, in the fitting mode and the lesson mode, the orientation of the display 54 suitable for execution is defined as the first orientation.
  • the fitting image or the instruction image of the operation related to healthcare is a vertically long image, it is displayed in a life size. This makes it easier for the user to see the fitting image and the instruction image.
  • the TV mode is defined as the second orientation.
  • the contents for the television which are often displayed in a horizontally long display, are displayed by effectively utilizing the size of the display 54. This makes it easier for users to watch TV programs.
  • both orientations are specified as suitable orientations.
  • both the first orientation and the second orientation are not defined as one suitable orientation, that is, one suitable orientation.
  • the painting mode program 128 stored in the memory 12 of the processing device 1 includes the portrait image program 81 and the landscape image program 82. ..
  • the processor 11 executes the vertically elongated image program 81 when the display 54 is in the first direction. As a result, the vertically long image display process 81A of the painting mode process 118 is performed. Further, the processor 11 executes the horizontally long image program 82 when the display 54 is in the second direction. As a result, the horizontally long image display process 81B of the painting mode process 118 is performed.
  • the processing device 1 detects the orientation of the display 54 of the user device 5 when the operation mode is executed, and controls so that the processing of the operation mode differs according to the detection result. In other words, even when the display 54 is used as a functional unit and the functions performed by the vertical display and the horizontal display are different, it corresponds to using a common functional unit in a plurality of operation modes. ..
  • the user device 5 further includes a sensor 58.
  • the sensor 58 is a sensor that detects a change in the orientation of the display 54.
  • the sensor 58 is, for example, a physical button provided at a position where it comes into contact when the orientation of the display 54 changes, a light emitting element and a light receiving element provided so as to block the sensor light when the orientation of the display 54 changes. , And so on.
  • the sensor 58 inputs a sensor signal indicating a detection result to the processor 51.
  • the orientation of the display 54 may be variable according to the control of the processor 51.
  • the user device 5 is provided with a drive mechanism for changing the orientation of the display 54, and the drive mechanism is driven by the control of the processor 51 according to the user operation received by the input device 59, and the orientation of the display 54 is changed. May be good. In this case, the sensor 58 may be unnecessary.
  • the processor 51 further executes the detection process 519 as shown in FIG.
  • the detection process 519 is a process of passing a signal based on the sensor signal from the sensor 58 to the communication device 53 and causing the processing device 1 to transmit the signal.
  • the processor 11 of the processing device 1 further executes the determination process 115 as shown in FIG.
  • the determination process 115 determines whether or not the signal based on the sensor signal transmitted from the user device 5 corresponds to the orientation of the display 54 defined for the operation mode for executing the process. That is, it includes determining whether or not the orientation of the display 54 of the user device 5 is suitable for the operation mode to be executed.
  • the processor 11 makes the process different according to the determination result in the determination process 115. That is, when the detected orientation of the display 54 is not suitable for the operation mode to be executed, it is different from the execution of the operation mode when the orientation is suitable.
  • the processor 11 performs the control as shown in FIG. That is, with reference to FIG. 6, the processor 11 confirms the operation mode instructed to start (step S11), and performs different control according to the operation mode instructed to start.
  • the processor 11 displays a signal based on the sensor signal from the user device 5 in the direction of the display 54. Is a signal indicating that is the first orientation, that is, it is determined whether or not the orientation of the display 54 is the first orientation. If the determination result is correct (YES in step S15), the processor 11 executes the lesson mode process 116 (step S17). As a result, the system 100 starts the operation of the lesson mode.
  • step S15 When the determination result is negative, that is, when the display 54 of the user device 5 is in the second direction (NO in step S15), the processor 11 performs the lesson mode process 116 on the display 54 of the user device 5 as an instruction image. Etc. are reduced and displayed (step S19). Specifically, in step S19, the instruction image set to be vertically long is reduced and displayed so as to match the length of the display 54 in the second direction in the vertical direction. As a result, the vertically long instruction image is displayed even if it is horizontally long, and the operation of the lesson mode is started.
  • the processor 11 outputs information indicating the first direction as the recommended direction from the user device 5 (step S21).
  • the display 54 may display a message such as "Please make it vertically long”. This encourages the display 54 to be oriented in a suitable orientation.
  • the processor 11 performs the same processing as in step S15 and below. That is, when the display 54 is in the first orientation (YES in step S25), the normal fitting mode process 111 is executed (step S27), and when not (NO in step S25), the fitting image is reduced. The fitting mode process 111 is executed (step S29), and information indicating the first direction is output from the user device 5 as the recommended direction (step S31).
  • the processor 11 uses the first orientation or the second orientation of the display 54 according to the signal based on the sensor signal from the user device 5. Judge whether it is the direction of. Then, the processor 11 executes the process corresponding to the orientation of the display 54.
  • step S35 when the display 54 is in the first orientation (YES in step S35), the processor 11 executes the portrait image display process 81A of the painting mode processes 118 (step S39).
  • the painting mode when the painting mode is executed with the display 54 oriented vertically, the painting mode in which the vertically long painting is displayed on the display 54 is executed, and the painting is displayed in an easy-to-see manner.
  • step S35 When the display 54 is in the second orientation (NO in step S35), the processor 11 executes the landscape image display process 81B of the painting mode processes 118 (step S37).
  • the painting mode when the painting mode is executed with the display 54 oriented horizontally, the painting mode in which the horizontally long painting is displayed on the display 54 is executed, and the painting is displayed in an easy-to-see manner.
  • the processor 11 determines whether or not the orientation of the display 54 is the second orientation. If the determination result is correct (YES in step S41), the processor 11 executes the TV mode process 119 (step S43). As a result, the user device 5 starts playing the television program.
  • the processor 11 When the determination result is negative, that is, when the display 54 of the user apparatus 5 is in the first direction (NO in step S41), the processor 11 does not execute the TV mode process 119 and displays an error (step S45). ). As a result, the TV mode is waited until the start of the TV mode is in the second direction, which is a suitable direction. Alternatively, after displaying the error in step S45, the processor 11 may transmit a control signal for rotating the rotating member of the display 54 to the user device 5. The TV mode process 119 may be started after the display 54 is automatically rotated in accordance with this control signal to be in the second direction. This control may be performed in the above-mentioned lesson mode or fitting mode. That is, even in the lesson mode or the fitting mode, execution may be waited until the display 54 is oriented in a suitable direction.
  • the DB of the memory 12 includes the DB used in the fitting mode processing 111.
  • the DB used in the fitting mode processing 111 includes the model image DB 121, the user image DB 122, and the pattern table 123.
  • the model image DB 121 is a database for registering model image data by adding information on products, sizes, and attributes.
  • the model image is a photographed image obtained by photographing a model wearing clothing as a subject.
  • the product information added to the model image is information that identifies the clothing item worn by the model that is the subject.
  • the model is equipped with one or more clothing items.
  • a pattern consisting of two or more clothing items may be worn.
  • a pattern refers to a combination of multiple types of clothing.
  • the pattern is also called so-called coordination, such as a combination of jackets, tops, and bottoms.
  • the clothing group includes, for example, tops such as jackets, bottoms such as pants and skirts, innerwear such as shirts and blouses, shoes such as sneakers and sandals, ornaments such as hats, mufflers and accessories, and bags. It is a combination of one or more of.
  • model image is a photographed image taken as a subject of a model attached to each item of clothing, and is associated with product identification information, size, other attributes, and the like. It is remembered.
  • the size is information that identifies the size of the clothing that the model is wearing.
  • the model images having different sizes of clothing items may have different models as subjects. That is, it may be a photographed image of a model having a body shape that matches the size of the clothing item. This makes it possible to check how the clothing is dressed for each size.
  • the user image DB 122 is a database for registering user images in association with identification information and other attributes.
  • Other attributes include attributes according to the size of the subject in the user image, such as the height and weight of the user.
  • the user image is at least a part of the photographed image of the user of the user device 5 taken by the camera 56 of the user device 5.
  • the pattern table 123 includes one or more calculation models for obtaining the degree of matching of user characteristics with respect to the pattern.
  • the degree of matching is an index of whether or not the pattern suits the user, and is, for example, a point.
  • the points are, for example, points that represent a state in which 100 points are suitable and a state in which 0 points are not suitable.
  • the pattern table 123 includes an arithmetic model that defines points for each user attribute for the pattern. That is, in the first column of the example of FIG. 9, for the pattern P1, the user attributes of gender “F”, age band “20 to 30”, body shape “S”, face type “round”, and skin color “fair”. In the second column, points for user attributes of gender “F”, age band “20-30”, body shape “S”, face type “round”, and skin color “brown” are specified. "60” is specified. That is, the pattern table 123 includes an arithmetic model that defines points for each user attribute for the same pattern P1. By using this calculation model, the degree of matching can be obtained for each user attribute of the pattern P1.
  • the points for each user attribute may be, for example, a value determined by a person who can determine the degree of matching, such as a stylist.
  • the computational model represents the stylist's styling policy.
  • one calculation model corresponds to that one stylist.
  • the association between the calculation model and the stylist means that the calculation model defines the points determined by the stylist as the degree of matching.
  • one calculation model included in the pattern table 123 defines points for each user attribute for each of the plurality of patterns P1, P2, ... As shown in FIG. By using this calculation model, the degree of matching can be obtained for each user attribute for each of the plurality of patterns P1, P2, ....
  • the points for each user attribute of the plurality of patterns P1, P2, ... Are the values determined for each of the plurality of patterns P1, P2, ... By the same stylist. is there.
  • the pattern table 123 includes a plurality of calculation models as shown in FIG. That is, the pattern table 123 includes a plurality of calculation models that define the degree of matching for each user attribute of the patterns P1, P2, ....
  • the plurality of calculation models define the values determined by different stylists as the degree of matching. Assuming such a case, in the example of FIG. 9, the titles of "stylist A”, “stylist B”, “stylist C”, and the like are given to each of the plurality of arithmetic models. This means that each of the plurality of arithmetic models corresponds to the stylist identified by "A”, “B”, “C”, and so on. That is, the pattern table 123 is assumed to include a plurality of calculation models corresponding to each of the plurality of stylists.
  • the calculation model defines the tendency of suitable user attributes for a group of one or more patterns, and is a characteristic of each stylist, that is, a pattern group consisting of one or more patterns set by each stylist. It can be said that it represents a characteristic.
  • the fitting mode process 111 executed by the processor 11 includes the display process 112.
  • the display process 112 is a process for displaying a fitting image, and includes a selection process 21, an extraction process 22, and an arrangement process 23 with reference to FIG. 10.
  • the selection process 21 receives data indicating the selection result of the user's clothing item from the user device 5, and indicates a product indicating the clothing item selected by the user from a plurality of model images stored in the model image DB 121. Includes selecting a model image with the information in.
  • the selection process 21 further includes receiving the user identification information from the user device 5 and selecting the user image of the corresponding user from the plurality of user images stored in the user image DB 122.
  • the corresponding user image is, for example, a user image associated with the identification information that matches the identification information of the received user.
  • the extraction process 22 is a process of extracting an area used for display (hereinafter, also referred to as a display area) from the model image selected by the selection process 21.
  • the processor 11 defines in advance an area to be a display area in the model image. This eliminates the need for processing to specify the display area.
  • the extraction process 22 may include extracting a display area from the user image used for display.
  • the arrangement process 23 is a process of arranging the display area of the model image and the display area of the user image on the same screen according to the preset arrangement rules.
  • the arrangement process 23 includes the size change process 24.
  • information corresponding to the size of the clothing item in the image is added to the model image stored in the memory 12.
  • the information according to the size of the clothing item in the image has attributes set according to the distance from the camera CA to the subject C, as shown in FIG. In the example of FIG. 11, the attribute includes the distance from the camera CA to the subject C.
  • the size change process 24 is a process of changing the size of one of the display area of the model image and the display area of the user image based on the relationship between the above attributes of the model image and the attributes according to the size of the subject in the user image. Is.
  • the arrangement process 23 includes the boundary processing process 25.
  • the boundary processing process 25 is a process for processing the boundary range between the display area of the model image and the display area of the user image arranged on the same screen, and is, for example, a process of performing blurring processing.
  • the fitting mode process 111 also includes a proposal process 114.
  • the proposal process 114 is a process for performing an operation necessary for proposing a pattern to the user.
  • the proposed process 114 includes an attribute extraction process 41 with reference to FIG.
  • the attribute extraction process 41 is a process of extracting user attributes stored in the user image DB 122 in association with the user image based on the user identification information received from the user device 5. By extracting the user attribute, the user attribute can be used for the calculation in the calculation process 43 described later.
  • the proposal process 114 includes the first presentation process 42.
  • the first presentation process 42 is a process of displaying a plurality of calculation models included in the pattern table 123 on the display 54 of the user apparatus 5 as options that can be selected by the user.
  • the first presentation process 42 stores in advance the presentation information for presenting as an option of the calculation model for each calculation model.
  • the presented information is, for example, identification information of the calculation model such as the name of the stylist corresponding to the calculation model.
  • the presentation information is information that represents the characteristics of the calculation model in addition to the stylist name.
  • the feature of the calculation model is, for example, the attribute of the target user. It may also be a feature of the stylist corresponding to the calculation model.
  • the characteristics of the stylist are, for example, the attributes of the user to be styled, the styling policy, the styling that he is good at, the media such as active magazines, and the celebrity who worked on the styling.
  • the first presentation process 42 includes passing the presentation information of each of the plurality of calculation models included in the pattern table 123 to the communication device 13 and transmitting the presentation information to the user device 5 together with the control signal to be displayed as an option of the calculation model.
  • a plurality of calculation model options are displayed on the display 54 of the user device 5.
  • the user can easily select the calculation model.
  • the first presentation process 42 includes the stylist selection process 117.
  • the stylist selection process 117 is a process of selecting one or more calculation models from a plurality of calculation models included in the pattern table 123 as candidates to be presented by the user apparatus 5.
  • the calculation model may be selected based on information such as the registration date and time of the calculation model and the season, which is not related to the user of the user device 5. Further, as another example, the calculation model may be selected according to the user's attributes such as the gender and age band of the user of the user device 5.
  • the user device 5 displays the selected calculation model as an option, not all of the plurality of calculation models included in the pattern table 123. That is, the number of calculation models displayed as options on the user device 5 can be suppressed. This makes it easier for the user to select the computational model used for processing.
  • the user can select the calculation model to be used for processing from the calculation models suitable for his / her own attributes. As a result, the degree of matching can be efficiently obtained.
  • the stylist selection process 117 may select one of the plurality of calculation models included in the pattern table 123.
  • the recommended calculation model is presented to the user device 5, and it is selected whether or not to perform the calculation using the calculation model.
  • the user can efficiently obtain the degree of matching without the trouble of selecting the calculation model.
  • the proposal process 114 includes the calculation process 43.
  • the calculation process 43 is a process of calculating the degree of matching of the user of the user device 5 with respect to a specific pattern.
  • the specific pattern is, for example, a pattern specified by data from the user device 5.
  • the specific pattern may be a predetermined pattern.
  • the calculation process 43 includes the table selection process 44.
  • the table selection process 44 uses the calculation model used in the calculation process 43 as the pattern table 123 based on the data indicating the selection result of the options displayed on the user device 5 by the first presentation process 42 received from the user device 5. It is a process to select from. In the example of FIG. 9, when "stylist A" is selected, in the table selection process 44, the calculation model with "stylist A" is selected from the pattern table 123. As a result, the calculation model selected in the calculation process 43 can be used.
  • the calculation process 43 includes reading out the points corresponding to the attributes extracted by the attribute extraction process 41 among the points defined for each attribute for a specific pattern in the selected calculation model. As a result, a point indicating the degree of matching for a specific pattern can be obtained for the user of the user apparatus 5.
  • the proposal process 114 includes the second presentation process 45.
  • the second presentation process 45 is a process for displaying the matching degree of a specific pattern on the user device 5.
  • the display of the degree of matching may be a display of the degree of matching itself, or may be a display based on the degree of matching in place of or in addition to the degree of matching itself.
  • the display based on the degree of matching is a text or an image defined in advance according to the degree of matching.
  • the second presentation process 45 includes passing a point indicating the degree of matching calculated in the calculation process 43 to the communication device 13 and causing the user device 5 to transmit the point together with the control signal instructing the display.
  • the degree of matching for a specific pattern is displayed on the display 54 of the user device 5.
  • the user of the user device 5 can know whether or not a specific pattern suits himself / herself.
  • the second presentation process 45 extracts the image data representing each clothing item constituting the specific pattern or the image data representing the specific pattern itself from the model image DB 121 and passes it to the communication device 13 for display. It includes transmitting to the user device 5 together with the control signal to be instructed. As a result, an image of a specific pattern is displayed on the display 54 of the user device 5. As a result, the user can confirm a specific pattern on the image.
  • the second presentation process 45 further extracts the user's image data from the user image DB 122, and displays the fitting image of the user's image data and the image data representing a specific pattern on the display of the user apparatus 5. It may be displayed on 54.
  • the fitting image may be a still image or a moving image.
  • the proposed pattern is displayed as a fitting image on the display 54 of the user device 5.
  • the user of the user device 5 can confirm the state of wearing the specific pattern, that is, the fitting state with an image.
  • the fitting mode process 111 also includes the purchase process 113.
  • the purchase process 113 is a process for purchasing the clothing items displayed on the display 54 of the user device 5 by the display process 112.
  • the purchase process 113 includes receiving a purchase instruction from the user device 5 and transmitting information necessary for the purchase to the displayed clothing sales site.
  • the purchase process 113 receives a purchase instruction from the user device 5 in a lump when a pattern consisting of a plurality of clothing items is displayed on the display 54 of the user device 5, the purchase process 113 receives the purchase instruction for each clothing item. Pass the necessary information to the site that sells the item and let it process the purchase. As a result, the user does not have to perform a purchase operation on a different site for each clothing item, and the user operation is simplified.
  • the model image is generated by the generation method shown in FIG. That is, with reference to FIG. 11, the model of the subject C is arranged at a shooting position having a predetermined positional relationship with respect to the camera CA.
  • the predetermined positional relationship is a position that is a predetermined distance L from the camera CA.
  • the model is fitted with ornaments.
  • the model placed at the distance L is photographed by the camera CA.
  • Data indicating, for example, a distance L is added to the model image 31 obtained by this photographing as an attribute according to the positional relationship and stored in the model image DB 121.
  • data indicating the size of the clothing item is added.
  • the model image is registered in the model image DB 121 as shown in FIG.
  • the model image is a moving image.
  • the fitting state of clothing when it is desired to check the fitting state of clothing from all directions such as clothes, it is possible to check the fitting state not only from the front but also from the back and sides.
  • the wearing state of the clothing item when it moves is also displayed on the fitting screen described later, the fitting state can be confirmed as if it were actually tried on and moved.
  • the distance L may be variable. This is because it is easier to see by changing the size of the clothing in the model image according to the size of the clothing. For example, when the clothing is worn on the whole body such as a suit, it is desirable to increase the distance L and photograph the whole body of the model. On the other hand, when the clothing is worn in a range that does not reach the whole body such as a shirt, it is desirable to take a picture so that the distance L is small and the clothing is large. As described above, the distance L added as an attribute to the model image indicates the size of the subject in the display area of the model image.
  • the fitting screen is displayed in the system 100 in the flow shown in FIG. That is, with reference to FIG. 12, the user device 5 accepts a user's clothing selection operation (step S51). At this time, the display 54 of the user device 5 displays the clothing selection screen 545 shown in FIG.
  • the selection screen 545 is, for example, a site for mail-order sales of clothes and the like.
  • the selection screen 545 includes an area 548 for displaying the clothing item and a button 547 for instructing the display of the fitting screen for the clothing item.
  • a button or the like instructing the purchase process of clothing may be included.
  • Accepting the selection of clothing in step S51 is, for example, accepting the touch of button 547 on the selection screen 545.
  • the user device 5 transmits the data indicating the selection result to the processing device 1 together with the user's identification information (step S53).
  • accepting the selection of clothing in step S51 is not limited to directly selecting one clothing.
  • selecting a combination of clothing consisting of two or more clothing groups such as by selecting the purpose for which the clothing is used, selecting a person who selects clothing such as a stylist, and so on.
  • the purpose of selecting the purpose is, for example, clothing used for work, clothing used on holidays, clothing used for a specific event such as a party, clothing selected with a specific motif such as Japanese clothes or Western clothes, and the like.
  • the selection process also includes the selection of clothing combinations. That is, the selection process refers to the process of selecting one or more clothing items.
  • the selection result of the selection process includes not only information indicating one selected clothing item but also information indicating a purpose indicating a combination of a plurality of clothing items and a person who selects a clothing item such as a stylist.
  • the processing device 1 that has received the data indicating the selection result extracts the user image of the user from the user image DB 122 based on the identification information of the user (step S55).
  • the attributes of the user added to the extracted user image are extracted (step S57).
  • the attribute extracted in step S57 includes data indicating the body shape of the user.
  • the processing device 1 further selects a model image wearing the selected clothing item from the model image DB 121 based on the data indicating the selection result received from the user device 5 (step S59). Further, the processing device 1 selects a model image wearing the clothing of the size corresponding to the body shape of the user extracted in step S57 from the model images wearing the selected clothing (step). S61).
  • the processing device 1 extracts a display area from each of the selected model image and the user image (step S63), and arranges the display area on the same screen according to a preset arrangement rule (step S65).
  • the processing device 1 extracts the display area 311 from the model image 31.
  • the display area 321 is extracted from the user image 32.
  • the model image 31 and the user image 32 have the same size, and the display area 311 and the display area 321 have a relationship that sandwiches the boundary line BO set for the image sizes of the model image 31 and the user image 32. is there. That is, the display area 311 is below the boundary line BO, that is, the side including the portion where the model as the subject is wearing the clothing, that is, the area below the neck.
  • the display area 321 is above the boundary line BO, that is, an area on the side including the face of the user who is the subject.
  • the processing device 1 arranges the display area 311 and the display area 321 on the screen 540.
  • the screen 540 has the same size as the model image 31 and the user image 32, and the display area 311 and the display area 321 are arranged so as to sandwich the boundary corresponding to the boundary line BO. That is, the display area 311 is arranged in the area 542 below the boundary corresponding to the boundary line BO.
  • the display area 321 is arranged in the area 541 above the boundary corresponding to the boundary line BO.
  • the screen data generated in this way is transmitted from the processing device 1 to the user device 5 (step S71) and displayed on the display 54 of the user device 5 (step S73).
  • the user's face is displayed in the area 541 of the screen 540.
  • the area 542 adjacent to the area 541 is displayed below the neck of the model image.
  • the fitting screen can be displayed as a moving image only by playing the moving image in the area 541 or the area 542. That is, by simple processing, deterioration of image quality can be suppressed, and a screen as if the user is wearing clothing can be displayed as a moving image.
  • the processing device 1 adjusts the size of at least one of the display area 321 and the display area 311 based on the relationship between the distance L added as an attribute to the model image and the attribute according to the size of the user in the user image. Change (step S67).
  • the display area 321 of the user image is enlarged and then arranged on the same screen so that the centers of the user images match.
  • the display area 311 of the model image may be reduced and then arranged on the same screen so that the centers of the model images coincide with each other.
  • the size of each subject can be easily increased without the need for processing such as specifying the size of each subject by image analysis or the like. It can be an appropriate relationship. As a result, it is possible to display the fitting screen with simple processing while suppressing deterioration of quality.
  • the processing device 1 performs boundary processing processing on a predetermined range 549 sandwiching the boundary corresponding to the boundary line BO of the screen 540 (step S69).
  • the boundary processing process is a process such as a blurring process that makes the boundary ambiguous.
  • the boundary between the user image and the model image becomes ambiguous, and unnaturalness can be suppressed. That is, deterioration of the quality of the fitting screen can be suppressed by simple processing.
  • the processor 11 executes the proposal process 114 of the fitting mode process 111, and the processor 51 executes the fitting mode process 511, so that the system 100 executes the proposal process in the flow shown in FIG. Further, during the process, the screen shown in FIG. 16 is displayed on the user device 5. In the process of FIG. 15, the input device 59 of the user device 5 is instructed to accept the selection of the pattern or propose the pattern, and the operation signal according to the user operation is input from the user device 5. To be started.
  • the processor 11 of the processing device 1 identifies a user of the user device 5 from the above operation signal received from the user device 5 with reference to the user image DB 122, and attributes of the user from the user image DB 122. Is extracted (step S101). Further, the processor 11 specifies a specific pattern for which the matching degree is to be calculated from the above signal received from the user device 5 (step S103).
  • the processor 11 executes a process of presenting the choices of the calculation model to the user device 5. That is, the processor 11 selects the calculation model to be displayed on the user device 5 as a choice of the calculation model (step S105), and transmits data for displaying the selected calculation model as a choice on the communication device 13 to the user device 5. (Step S107).
  • the calculation model is associated with the stylist, and in step S107, as an example, the stylist is selected and the data for identifying the stylist is transmitted to the user device 5.
  • a screen for selecting a stylist (not shown) is displayed on the display 54. Using this screen, the user of the user device 5 can select a desired stylist as the calculation model to be used.
  • the screen for selecting a stylist may be characterized by the attributes of the user to be styled, the celebrity who worked on the styling, the medium such as an active magazine, etc. for each stylist. This makes it easier for the user to select the calculation model.
  • the processor 11 of the processing device 1 receives the signal indicating the selection result of the stylist from the user device 5 (YES in step S109), the processor 11 selects the calculation model to be used for the calculation processing from the pattern table 123 (step S113). If the above signal is not input from the user device 5 for a predetermined time, the processor 11 may select a calculation model set in advance by default (step S111). Alternatively, a series of processes may be completed without performing the subsequent processes.
  • the processor 11 uses the selected calculation model and the attributes of the user extracted in step S101 to calculate the degree of matching of the pattern specified in step S103 for that user (step S115). Then, the processor 11 causes the communication device 13 to transmit the calculation result to the user device 5 (step S117). Preferably, the processor 11 further generates a fitting image (step S119) and causes the communication device 13 to transmit the fitting image to the user device 5 (step S121).
  • the presentation screen 561 as shown in FIG. 16 is displayed on the display 54. That is, with reference to FIG. 16, the presentation screen 561 includes an area 562 for displaying the matching degree, and displays the matching degree transmitted in step S117. As described above, instead of the matching degree itself, or in addition, a predetermined text or image may be displayed according to the matching degree. That is, it is not essential to display the points indicating the degree of matching.
  • the user of the user device 5 can know the degree of matching to himself / herself, that is, whether or not it suits himself / herself for a specific pattern. Furthermore, at that time, it is possible to know the judgment result of whether or not it suits oneself by a favorite stylist.
  • the presentation screen 561 includes an area 563 for displaying the fitting image, and displays the fitting image transmitted in step S121.
  • the user of the user device 5 can visually confirm the specific pattern.
  • the fitting state can be visually confirmed without actually trying on.
  • by displaying the fitting image together with the degree of matching it is possible to visually confirm a pattern that suits oneself or a pattern that does not suit oneself.
  • the presentation screen 561 further includes a button 564 for receiving a purchase instruction for each of the clothing items constituting the specific pattern for which the degree of matching has been calculated.
  • Button 564 may be on each piece of clothing that constitutes a particular pattern.
  • the processor 51 of the user device 5 instructs the processing device 1 to perform the purchase process for each clothing item instructed by the button 564.
  • the processor 11 of the processing device 1 receives the above instruction from the user device 5 (YES in step S123), the processor 11 executes the purchase process 113 (step S125).
  • the user of the user device 5 can easily purchase clothing items constituting a specific pattern. For example, if the clothing items that make up a particular pattern are not products from the same seller, it is usually necessary to check the sales sites of each seller to complete the purchase procedure. On the other hand, by providing the button 564 on the presentation screen 561, the user can purchase each clothing item from the presentation screen 561, which greatly enhances convenience.
  • the presentation screen 561 replaces or in addition to the individual buttons 564 to accept instructions for bulk purchase of all of the plurality of clothing items constituting a particular pattern, as shown in FIG. Button 565 may be further included.
  • the processor 51 of the user device 5 instructs the processing device 1 to purchase all of the plurality of clothing items.
  • the user does not have to instruct the purchase process for each clothing item, which greatly enhances convenience.
  • the user looks at the display screen and decides whether or not it suits him / herself before purchasing. Therefore, you may feel that it does not suit you after you actually wear it after purchase. In this case, the purchased clothing may not be used or may be returned to the purchaser.
  • the purchase can be determined based on the calculated matching degree, particularly based on the matching degree by the desired stylist, it is possible to reduce the possibility that the user feels unsuitable after the purchase. .. This can also contribute to improving customer satisfaction with the seller.
  • step S201 in FIG. 17 is the same as step S101 in FIG.
  • the process of specifying the pattern for calculating the matching degree performed in step S103 of FIG. 15 is not performed, and a plurality of predetermined patterns are used as the patterns for calculating the matching degree.
  • the processing for specifying the calculation table performed in steps S105 to S113 of FIG. 15 is not performed, and all the registered calculation tables or the specified calculation tables thereof are used for calculating the matching degree. Is used.
  • step S215 when the matching degree is calculated for a plurality of patterns in step S215, the processor 11 selects one or more patterns to be presented to the user using the calculated matching degree (step S216), and matches the selected patterns. It is transmitted to the user device 5 together with the calculation result of the degree (step S217). After that, in steps S219 to S225, the same processing as in steps S119 to S125 of FIG. 15 is performed.
  • the presentation screen 571 as shown in FIG. 18 is displayed on the display 54.
  • FIG. 18 is a screen that presents only one pattern of the degree of matching that is determined to suit the user, and can be said to be a screen that recommends one pattern that suits the user to the user. That is, the presentation screen 571 includes an area 576 that displays that the pattern is recommended to the user. In the example of FIG. 18, the area 576 is described as "coordination that suits you" to indicate that it is a recommended pattern.
  • the areas 527 and 573 are the same as the areas 562 and 563 in FIG. 16, and the buttons 574 and 575 are the same as the buttons 564 and 565 in FIG.
  • the user of the user device 5 can know which pattern has a high degree of matching with himself / herself, that is, a pattern that suits him / herself from among a plurality of patterns. Furthermore, at that time, it is possible to know the pattern that suits you based on the judgment by your favorite stylist whether or not it suits you.
  • a pattern that does not suit the user is selected, a pattern that does not suit the user of the user device 5 is displayed on the presentation screen 571. As a result, the user can know a pattern that does not suit him / her from a plurality of patterns.
  • a plurality of patterns may be displayed on the user device 5 as in the presentation screen 581 shown in FIG.
  • a plurality of patterns in which the calculated matching degree satisfies a predetermined condition are displayed in the area 582.
  • the predetermined condition is, for example, that the degree of matching is equal to or higher than a preset threshold value.
  • the display of the pattern in the area 582 is, for example, the face image of the user and the image below the neck of the model. It may be a combination with an image. Further, as another example, only the image below the neck of the model may be used without combining with the user's face image. In this case, the image selected from the display of the area 582 may be further displayed in combination with the user's face image. These images may be still images or moving images.
  • the user may select one or more patterns from the plurality of patterns displayed in the area 582.
  • the screen example of FIG. 19 in the area 583, for example, information about the calculation model used for calculating the matching degree for the selected pattern and the stylist corresponding to the calculation model is displayed.
  • information on each clothing item, a fitting image, and the like may be displayed.
  • a button 584 instructing the display of the purchase site for the selected pattern may be displayed.
  • the screen displayed on the user device 5 in the fitting mode may include an image other than the fitting image.
  • the fitting image may be at least an image in a range that the user can usually see at the time of fitting.
  • the image of the range that can be seen at the time of fitting is the image of the range that can be seen in the mirror, and refers to the image of the range that is reflected in the mirror in the range where the user faces the front.
  • the model image in this case is an image in which the angle of the limbs below the neck with respect to the camera is changed with the model's face facing the front, and is used as the first model image.
  • the fitting image in which the region below the neck of the first model image is displayed together with the user's face image taken from the front can be seen in the same manner as the image that the user tries on and reflects in a mirror to visually recognize.
  • the first model image is stored in the model image DB 121 in association with the model image of the model wearing the same clothing item taken from an angle other than the front.
  • a model image taken from an angle other than the front is referred to as a second model image.
  • the second model image is, for example, an image taken from behind the model, that is, an image taken by the model facing backward with respect to the camera. More preferably, the first model image and the second model image are images taken from the front and from an angle other than the front of the model in which the same ornament is attached and the same pose is taken.
  • the processor 11 of the processing device 1 generates a fitting image by displaying the region below the neck of the first model image and the region above the neck of the user image together in the fitting mode processing 111.
  • the user device 5 is displayed, and the second model image stored in the model image DB 121 in association with the first model image is also displayed on the user device 5. That is, the screen displayed on the user device 5 in the fitting mode may further include an image at an angle different from the fitting image, which is different from the fitting image, which the user normally does not see in the mirror.
  • the fitting image using the first model image and the second model image are displayed in association with each other on the display 54 of the user device 5.
  • the fitting screen 596 shown in FIG. 22 is displayed. That is, with reference to FIG. 22, the fitting screen 596 includes a region 597 for displaying the fitting image using the first model image and a region 598 for displaying the second model image.
  • an instruction to switch the display may be received by a button or the like, and the fitting image using the first model image and the second model image may be switched and displayed.
  • the user of the user device 5 can see his / her fitting state from the front by displaying them in association with each other in this way. It can be confirmed and can be confirmed from other angles. At this time, since the other angles are usually invisible in the mirror, there is no sense of discomfort even if it is not the user's face. That is, the second model image is visually recognized as an image other than the front without a sense of discomfort without generating a fitting image that synthesizes the region below the neck with the user's face portion. At that time, if the first model image and the second model image are in the same pose, the fitting image can be displayed more naturally as if it were viewed from another angle.
  • the DB of the memory 12 includes the DB used in the lesson mode processing 116.
  • the DB used in the lesson mode processing 116 includes the advice DB 124 and the support DB 125.
  • the advice DB 124 is a database for registering advice data.
  • Advice data refers to data that represents advice from supporters regarding user's health care behavior.
  • the advice DB 124 stores the advice data in association with the information that identifies the user's health care operation.
  • Support DB 125 is a database for registering support data.
  • the support data is data for displaying a guidance image for the user's medical operation on the display 54 of the user device 5.
  • the instruction image may be a still image or a moving image.
  • the instruction image includes a sample image (hereinafter referred to as a sample image).
  • the sample image is, for example, a photographed image taken by the camera 56 of the user device 5.
  • the instruction image may further include an image such as a point of movement and information on a product suitable for the movement.
  • Identification information corresponding to the type of action related to healthcare is added to the support data.
  • the types of movements related to health care include, for example, exercise and cosmetology, and the types of exercise may include fine types of exercise.
  • the lesson mode process 116 executed by the processor 11 includes a display process 61, an advice generation process 62, and a purchase process 63.
  • the display process 61 includes a process of displaying a guidance image on the display 54 of the user device 5.
  • the sample image included in the instruction image is preferably a moving image. More preferably, the sample image is a captured image of the moving image of the user B taken by the camera 56 of the user device 5B.
  • the display process 61 includes reading the captured image of the user B from the support DB 125, passing it to the communication device 13, and transmitting it to the user device 5A together with an instruction signal instructing the display.
  • the instruction image including the sample image is displayed on the user device 5A.
  • the sample image may be stored in advance in the memory 12 of the processing device 1, or may be stored in the memory 52 of the user device 5A via the communication network 2 (download).
  • the sample image can be updated by using the communication network 2 (download).
  • download it is preferable that there are a plurality of sample images.
  • the contents of the actions may be different from each other, or the contents of the actions may be the same but the speeds may be different from each other.
  • the different speeds are, for example, normal speed (normal speed), slower than normal speed (slow speed), and faster than normal speed (faster speed).
  • the user A can perform an operation related to health care while looking at the sample image included in the instruction image.
  • the movement related to health care is a sports movement
  • the user A imitates the movement of the sports while displaying the movement of the instructor user B on the display 54 of the user device 5A and watching the movement. It can be performed.
  • the user A feels as if he / she is performing sports movements together with the user B, and the movements become easier.
  • the user A imitates the operation by displaying the operation of the user B who is an esthetician on the display 54 of the user device 5A and watching the operation. Can perform actions. As a result, the user A feels as if he / she is performing a beauty massage together with the user B, and can be an effective beauty massage.
  • the display process 61 includes a process of displaying an operating image on the display 54 of the user device 5.
  • the operating image is a process of displaying a captured image of the user A who is performing an operation related to healthcare, which is captured by the camera 56 of the user device 5A.
  • the display process 61 includes acquiring a captured image from the user device 5A, passing it to the communication device 13 together with an instruction signal instructing the display, and transmitting the captured image to the user device 5B.
  • the operating image is displayed on the display 54 of the user device 5B.
  • the user B who is an instructor, can see the operation related to the health care performed by the user A by displaying the display 54 of the user device 5B. Therefore, the user B can input advice to the operation of the user A by using the input device 59.
  • the display process 61 further includes displaying the operating image on the display 54 of the user device 5A.
  • the sample image and the operating image are displayed together on the display 54 of the user device 5A. Therefore, the user A can compare his / her own operation with the operation of the user B and can operate effectively.
  • the advice generation process 62 is a process of generating advice data to be transmitted to the user device 5A in response to an instruction from the user device 5B, and is generated in a format in which the corresponding advice is read from the advice DB 124 and transmitted to the user device 5A. Including processing.
  • the advice data is data for causing the user device 5A to output advice on the operation of the user A.
  • the output of advice may be display, voice, or a combination thereof.
  • the process of generating the form to be transmitted to the user device 5A is, for example, a process of adding a specific display image or adding a specific sound.
  • the advice generation process 62 further includes passing the generated advice data to the communication device 13 together with the instruction signal instructing the output and causing the user device 5A to transmit the advice data. Therefore, advice is output from the user device 5A.
  • the advice that is output is display, audio, and combinations thereof.
  • the user A can obtain advice on the operation from the user device 5A while performing the operation related to the healthcare.
  • the user A can perform an operation related to health care while receiving advice remotely from the user B who is an instructor.
  • the purchase process 63 is a process for purchasing the product or the like instructed by the user device 5 among the products or the like included in the instruction image.
  • the purchase process 63 includes receiving a purchase instruction from the user device 5 and transmitting information necessary for purchase to the device for sale stored in advance.
  • the system 100 operates the lesson mode in the flow shown in FIG. That is, referring to FIG. 20, when the lesson mode is started, both the user devices 5A and 5B are photographed by the camera 56 (steps S81-1 and S81-2), and the photographed data is transmitted to the processing device 1. (Steps S83-1 and S83-2).
  • the image captured by the camera 56 of the user device 5A is an image captured by the user A regarding the operation related to health care, and is an operating image.
  • the image taken by the camera 56 of the user device 5B is a photographed image of the operation related to health care by the user B, and is a sample image.
  • the processor 11 of the processing device 1 executes the display process 61 using these captured data (step S84).
  • the display data generated by the processing is transmitted from the processing device 1 to the user device 5 (steps S85-1 and S85-2).
  • the screen is displayed on the user device 5 (steps S87-1 and S87-2).
  • step S87-1 for example, a screen 591 as shown in FIG. 21 is displayed.
  • FIG. 21 shows a screen displayed on the user device 5A when a fitness operation is performed as an operation related to healthcare.
  • the screen 591 includes an area 592 for displaying a sample image and an area 593 for displaying an operating image.
  • the processor 11 arranges the shooting data obtained in step S83-1 in the area 593 and arranges the shooting data obtained in step S83-2 in the area 592 in step S84 to display the screen 591. ..
  • the user A can perform the fitness operation while remotely viewing the sample image.
  • fitness movements can be performed while comparing the sample image with one's own movements. It should be noted that the image during operation does not necessarily have to be displayed. In this case, the screen 591 does not include the area 593.
  • step S87-2 the operating image based on at least the shooting data from the user device 5A is displayed on the user device 5B.
  • the user B can remotely see the user A's medical operation.
  • steps S81-1 to S87-2 are repeated during the lesson mode.
  • the user A can see the sample image in real time
  • the user B can see the operating image in real time.
  • the sample image included in the instruction image is a photographed image of the operation of the user B photographed by the camera 56 of the user device 5B, but the sample image is not limited to the photographed image of the user B.
  • Other images may be used.
  • the image may be stored in advance in the memory 12 of the processing device 1. In that case, the processes of steps S81-2 and S83-2 of FIG. 20 are skipped.
  • the processor 51 of the user device 5B When the processor 51 of the user device 5B receives the input of the advice by the user B (step S89), the processor 51 transmits the input data to the processing device 1 (step S91).
  • the processor 11 of the processing device 1 generates advice data from the received input data and stores it in the advice DB 124 (step S93).
  • the processor 11 of the processing device 1 transmits the advice data stored in the advice DB 124 to the user device 5A at a specific timing (step S95), and outputs the advice data.
  • the specific timing is, for example, immediately after receiving the input data from the user device 5B in step S91. Further, the specific timing may be the timing specified by the user B.
  • the user device 5A When the advice data is received from the processing device 1, the user device 5A outputs advice based on the advice data (step S97). In the example of FIG. 21, voice advice 595 is output from the speaker 55. As a result, the user A can perform an operation related to health care while obtaining advice remotely.
  • the instruction image may further include a button for accepting the purchase of the product or the like.
  • a button 594 instructing the display of the purchase site is included.
  • the processor 51 of the user device 5A receives the user operation instructing the purchase (step S99)
  • the processor 51 transmits the instruction data based on the operation to the processing device 1 (step S131).
  • the processor 11 of the processing device 1 Upon receiving the above instruction data from the user device 5A, the processor 11 of the processing device 1 executes the purchase process 63 (step S133). As a result, the purchase data of the product or the like is transmitted from the processing device 1 to the device that performs the purchase process (step S135), and the purchase process is instructed. As a result, the user can easily purchase a desired product or the like in the operation related to healthcare.
  • the instruction image and the advice are based on the photographed image taken by the user device 5B and the data input by the user B to the user device 5B.
  • the processor 11 may automatically select the data registered in advance in the support DB 125 or the advice DB 124 and transmit the data to the user device 5A.
  • the lesson mode process 116 executed by the processor 11 includes selecting the corresponding data from the support DB 125 and the advice DB 124.
  • Data selection may be made based on, for example, the characteristics of user A.
  • data is registered in the support DB 125 and the advice DB 124 in association with the characteristics of the user A.
  • the processor 11 selects data based on the characteristics of the user A.
  • the characteristics of the user A may be specified from, for example, the captured image of the user A received from the user device 5A, or the input may be requested to the user device 5A. It may also be obtained from another device.
  • the user A wears a physical information acquisition device W (see FIG. 23) capable of acquiring the user's physical information (for example, pulse, heart rate, sweating amount, etc.) before performing a fitness operation.
  • the physical information acquisition device W is preferably a wristband-type wearable device that can be worn on the wrist.
  • the physical information acquisition device W may be any device as long as it can acquire the physical information of the user.
  • the physical information acquisition device W has a communication function (not shown).
  • the communication function is preferably Bluetooth®.
  • the physical information acquisition device W can communicate with the communication device 53 of the user device 5 by Bluetooth (registered trademark).
  • the physical information of the user A acquired by the physical information acquisition device W can be transmitted to the user device 5.
  • the communication function is an example, and any format may be used as long as it can communicate with the communication device 53 of the user device 5.
  • the user A displays the instruction image (fitness operation of the instructor user B) on the display 54 of the user device 5A at a normal speed while wearing the physical information acquisition device W.
  • the user A starts the operation according to the displayed instruction image.
  • the physical information acquisition device W acquires the heart rate of the user A over time. Therefore, when it is detected that the heart rate of the user A exceeds a certain threshold value, the user A is notified whether or not to change the operation speed of the instruction image being displayed.
  • it is configured to notify the physical information of the user A (for example, the current heart rate) in synchronization with notifying the user A whether or not to change the operation speed of the instruction image being displayed. You may.
  • the certain threshold value is configured so that it can be changed according to the gender and age of the user A. By doing so, it is possible to reflect a state suitable for the user A who actually uses it.
  • the notification method is preferably a method of outputting voice from the speaker 55.
  • voice For example, "Heart rate has exceeded 150.
  • the load on the body is increasing. Do you want to change the speed of movement?"
  • the content of the voice is an example, and any content may be used as long as it can be notified to the user A.
  • it may be a method of displaying as characters on the display 54. For example, “Current heart rate: 150. Advice: The load on the body is increasing. Do you want to change the speed of movement?"
  • the content of the display is an example, and any content may be used as long as it can be notified to the user A. Further, the sound by the speaker 55 and the display by the display 54 may be performed together.
  • the user A determines whether to change the speed of the instruction image based on the notified content. When it is determined that it is better to change the speed of the instruction image, the user device 5A is operated to change the speed of the instruction image (change from the normal speed to the slow speed). When it is determined that the speed of the instruction image does not need to be changed, the user device 5A is not operated and the operation is continued as it is. When the user device 5A receives the instruction to change the speed of the instruction image by the operation of the user A, the user device 5A currently selects the instruction image (normal speed, slow speed, fast speed) stored in the memory 52 of the user device 5A.
  • the type of the instruction image displayed on the display 54 is determined (for example, normal speed), collated with the content of the operation command (for example, the instruction to slowly change to speed), and the instruction image stored in the memory 52 is displayed.
  • the speed corresponding to the operation command is slowly called from the inside and displayed on the display 54.
  • the instruction image may be stored in the memory 12 of the processing device 1.
  • the instruction image When the instruction image is stored in the memory 12 of the processing device 1, when the instruction to change the speed of the instruction image is received by the operation of the user A, the instruction image (normal speed, From the slow speed and fast speed), the type of instruction image currently displayed on the display 54 is determined (for example, normal speed) and collated with the content of the operation command (for example, slow speed change command). , The speed corresponding to the operation command is slowly called from the instruction image stored in the memory 52, transmitted to the user device 5A via the communication network 2, and displayed on the display 54 of the user device 5A.
  • the speed of the instruction image displayed on the display 54 of the user device 5A is not changed, and the heart rate of the user A has a certain threshold value. It may be configured to notify that the value has been exceeded.
  • the user A determines whether to continue or stop the running fitness operation based on the notified content. For example, the heart rate 140 is set as a certain threshold.
  • the user A performs the fitness operation according to the instruction image displayed on the display 54 of the user device 5A. User A is wearing the physical information acquisition device W. Therefore, when the user device 5A detects that the heart rate of the user A performing the fitness operation exceeds 140, the display 54 displays "Caution! The heart rate is increasing. The fitness operation is continued. Do you want to do it? Do you want to cancel it? "Is displayed. The user A selects whether to continue or stop the fitness operation in consideration of the user's own condition.
  • the instruction image displayed on the display 54 stops, and the fitness operation ends.
  • a display such as "Thank you for your hard work. Let's do our best tomorrow! May be displayed on the display 54.
  • the notification content being displayed on the display 54 disappears, and the instruction image is continuously displayed.
  • the same notification content may be displayed again on the display 54, or a different notification content (for example, "Warning! Heart rate continues to rise. Fitness operation continues.” Do you want to do it? Do you want to cancel it? ”) May be displayed. Further, the notification content may be continuously displayed on the edge of the display 54 in a wipe shape.
  • a certain threshold value can be changed according to the gender and age of the user A.
  • the instruction image displayed on the display 54 of the user device 5A is paused, and the speaker 55 notifies the user A by voice. You may do so.
  • the heart rate 140 is set as a certain threshold.
  • the user A performs the fitness operation according to the instruction image displayed on the display 54 of the user device 5A. User A is wearing the physical information acquisition device W. Therefore, when the user device 5A detects that the heart rate of the user A who is executing the fitness operation approaches 140 (for example, the heart rate 130), the instruction image being displayed is paused and the user A is notified. Then, the speaker 55 notifies that "the load seems to be heavy. Would you like to take a break?" After the notification by the speaker 55 is completed, "Resume / Do not restart" is displayed on the display 54. The user A selects whether or not to resume the fitness operation in consideration of the user's own condition.
  • the paused instruction image ends and the fitness operation ends.
  • a display such as "Thank you for your hard work. Let's do our best tomorrow! May be displayed on the display 54.
  • the paused instruction image is resumed and continuously displayed. After a lapse of a predetermined time, the instruction image may be paused and the same notification content may be notified from the speaker 55.
  • a certain threshold value can be changed according to the gender and age of the user A.
  • the user device 5A or the processing device 1 automatically determines whether or not to resume the fitness operation. It may be configured. For example, when it detects that the heart rate has fallen below a certain threshold, the display 54 of the user device 5A asks, "Did you take a break? Let's resume the fitness operation. The instruction image that was paused soon is played back. By displaying "Masu.”, User A is notified, and then the paused instruction image is played back.
  • the speaker 55 may be configured to notify the same content in synchronization with the display on the display 54. By doing so, the user A can be notified that the fitness operation will be resumed, so that the user A can prepare for resuming the fitness operation.
  • the characteristic of user A is, for example, the shape of the face.
  • the processor 11 recognizes the face shape of the user A from the captured image of the user A received from the user device 5A, and the data stored in the support DB 125 and the advice DB 124 in association with the face shape. Select the data corresponding to the recognized face shape of the user A from the data.
  • the face shape may be included in the data input by the user A to the user device 5A and transmitted to the processing device 1.
  • makeup and facial beauty massage according to the shape of the face of the user A are displayed as a guidance image or output as advice to the user A.
  • the user A can perform make-up and facial beauty massage while receiving guidance suitable for himself / herself.
  • the control of the system 100 is performed by the processor 11 of the processing device 1, and the user device 5 performs processing in each operation mode according to the control signal from the processing device 1.
  • the processor 51 of the user apparatus 5 may execute at least a part of the processing that the processor 11 of the processing apparatus 1 is supposed to execute.
  • the processor 51 of the user device 5 may perform all the processing.
  • the display process 112 in the fitting mode may be performed by the processor 51.
  • the processor 51 may acquire a model image from the processing device 1, generate a fitting image, and display it on the display 54. This makes it possible to simplify the configuration of the processing device 1.
  • Processing device 2 Communication network 5: User device 5A: User device 5B: User device 6: Fixture 11: Processor 12: Memory 13: Communication device 21: Selection process 22: Extraction process 23: Arrangement process 24: Resize Process 25: Boundary processing process 31: Model image 32: User image 41: Attribute extraction process 42: First presentation process 43: Calculation process 44: Table selection process 45: Second presentation process 50: Control device 51: Processor 52: Memory 53: Communication device 54: Display 55: Speaker 56: Camera 57: Microphone 58: Sensor 59: Input device 61: Display processing 62: Advice generation processing 63: Purchase processing 81: Vertical image program 81A: Vertical image display processing 81B: Horizontal image display processing 82: Horizontal image program 100: System 111: Try-on mode processing 112: Display processing 113: Purchase processing 114: Proposal processing 115: Judgment processing 116: Lesson mode processing 117: Stylist selection processing 118: Painting mode processing 119 : TV mode processing 121: Model image DB

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Tourism & Hospitality (AREA)
  • Biophysics (AREA)
  • Economics (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Hospice & Palliative Care (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】搭載が必要な機能の増加を抑えつつ複数の動作モードを実行可能なヘルスケアシステムを提供する。 【解決手段】ヘルスケアシステム100は、カメラ56と、コントローラとして機能する処理装置1と、を備え、処理装置は、いずれもカメラを用いる、複数の動作モードを実行可能であって、複数の動作モードは、カメラによるユーザの撮影画像を用いた服飾品の試着画像を表示する第1の動作モードである試着モードS1と、指導画像を表示するとともに、カメラによるユーザの撮影画像に示されるユーザの動作に対するアドバイスを出力する第2の動作モードであるレッスンモードS2と、を含む。

Description

ヘルスケアシステム及び処理装置
 本開示は、ヘルスケアシステム及び処理装置に関する。
 例えば、特表2015-509772号公報(以下、特許文献1)には、実際のフィットネストレーナーによって実行されるフィットネス運動を記録・電子化し、バーチャルフィットネストレーナーによるフィットネス運動として表示ユニットで再生可能とするフィットネス装置が開示されている。
特表2015-509772号公報
 このようなフィットネス装置は、センサ機器などの一つの機能はフィットネス運動を記録するなどの単一の動作モードに用いられるものである。しかしながら、ヘルスケアにはさまざまなアプローチがあり、単一の動作モードではカバーしきれない場合がある。その点、複数の動作モードを搭載すると、複数の機能が必要となってしまう。そこで、搭載が必要な機能の増加を抑えつつ複数の動作モードを実行可能なヘルスケアシステム及び処理装置を提供する。
 ある実施の形態に従うと、ヘルスケアシステムは、カメラと、コントローラと、を備え、コントローラは、いずれもカメラを用いる、複数の動作モードを実行可能であって、複数の動作モードは、カメラによるユーザの撮影画像を用いた服飾品の試着画像を表示する第1の動作モードと、指導画像を表示するとともに、カメラによるユーザの撮影画像に示されるユーザの動作に対するアドバイスを出力する第2の動作モードと、を含む。
 他の実施の形態に従うと、処理装置は、構造物に固定して用いられるディスプレイと、ディスプレイを用いる動作モードを実行可能なコントローラと、を備え、ディスプレイは、構造物への固定具に対して異なる向きに切替可能であり、コントローラは、動作モード実行時のディスプレイの向きを検出し、検出結果に応じて動作モードの処理を異ならせる。
 更なる詳細は、後述の実施形態として説明される。
図1は、実施の形態に係るヘルスケアシステム(以下、システム)の構成の具体例を表した概略図である。 図2は、システムに含まれる処理装置の構成の概略図である。 図3は、システムに含まれるユーザ装置の構成の概略図である。 図4は、システムでの動作モードの遷移を表した図である。 図5は、ユーザ装置のディスプレイの向き及び対応した動作モードを説明する図である。 図6は、ディスプレイの向きと各動作モードでの動作との関係を表した図である。 図7は、モデル画像データベース(DB)の具体例を表した図である。 図8は、ユーザ画像DBの具体例を表した図である。 図9は、パターンテーブルの具体例を表した図である。 図10は、処理装置のプロセッサが実行する各処理を表した概略図である。 図11は、ユーザ画像の生成方法を説明する図である。 図12は、試着画像の表示処理の流れを表した図である。 図13は、試着モードにおいて装飾品を選択するための画面の具体例を表した概略図である。 図14は、試着画像の生成方法を説明する概略図である。 図15は、提案処理の流れの一例を表したフローチャートである。 図16は、パターンの提案画面の一例を表した概略図である。 図17は、提案処理の流れの他の例を表したフローチャートである。 図18は、パターンの提案画面の一例を表した概略図である。 図19は、パターンの提案画面の一例を表した概略図である。 図20は、レッスンモードの流れの具体例を表した図である。 図21は、レッスンモードにおける表示画面の具体例を表した図である。 図22は、試着モードにおける表示画面の他の具体例を表した概略図である。 図23は、別実施の形態に係るヘルスケアシステム(以下、システム)の構成の具体例を表した概略図である。
 <1.ヘルスケアシステム及び処理装置の概要>
 (1)本実施の形態に従うヘルスケアシステムは、カメラと、コントローラと、を備え、コントローラは、いずれもカメラを用いる、複数の動作モードを実行可能であって、複数の動作モードは、カメラによるユーザの撮影画像を用いた服飾品の試着画像を表示する第1の動作モードと、指導画像を表示するとともに、カメラによるユーザの撮影画像に示されるユーザの動作に対するアドバイスを出力する第2の動作モードと、を含む。
 このように、複数の動作モードにおいて果たす機能が異なるにも関わらず単一のカメラを共通して用いることによって、動作モードごとにカメラを要する場合と比較して搭載が必要なカメラの数を抑えることができる。
 (2)好ましくは、第1の動作モードでは、撮影画像は、少なくとも一部が、服飾品を装着したモデル画像の少なくとも一部とともに表示されるために用いられ、第2の動作モードでは、撮影画像は、ユーザの動作を検出するために用いられる。このように、単一のカメラが動作モードごとに異なる機能を果たす。
 (3)好ましくは、第1の動作モードは、撮影画像の予め記憶している範囲である第1の領域と、モデル画像の予め記憶している範囲である第2の領域とを、予め設定された配置規則に応じて同一画面内に配置することを含む。第1の領域をユーザの撮影画像のうちの顔を含む領域、第2の領域をモデル画像のうちのモデルが装着した服飾品の領域とすることで、ユーザが服飾品を試着したような試着画像が得られる。
 (4)好ましくは、ヘルスケアシステムは、異なる服飾品を装着した、複数のモデル画像を記憶する第1のメモリと、異なる服飾品の中から服飾品の選択結果の入力を受け付ける入力装置と、をさらに備え、第1の動作モードは、選択結果において選択された服飾品を装着したモデル画像を第1のメモリから抽出して試着画像を得ることを含む。これにより、選択された服飾品を試着したような試着画像が得られる。
 (5)好ましくは、第1のメモリは、同一の服飾品について、体形の異なる複数のモデル画像を記憶し、第1の動作モードは、体形の異なる複数のモデル画像の中からユーザの体型に応じたモデル画像を抽出して試着画像を得ることを含む。これにより、ユーザが実際に試着した状態に近い試着画像が得られる。
 (6)好ましくは、第1のメモリは、同一の服飾品について、モデルを正面から撮影した第1のモデル画像とモデルを正面以外から撮影した第2のモデル画像とを記憶し、第1の動作モードは、第1のモデル画像から試着画像を得るとともに、試着画像と第2のモデル画像とを対応付けて表示することを含む。対応付けて表示することは、例えば、同一の表示画面に並べて表示することである。また、対応付けて表示することは、ボタン操作などで切り替え可能であってもよい。これにより、ユーザは、自身の試着の状態を正面からの試着画像で確認できるとともに、背面などの正面以外の試着の状態も確認することができる。
 (7)好ましくは、第1のメモリに記憶されているモデル画像には、カメラからモデルまでの距離に応じた異なる属性が設定されており、第1の動作モードは、ユーザのサイズに応じた属性とモデル画像に設定されている属性との関係に基づいて第1の領域及び第2の領域の少なく一方のサイズを変更し、変更後の2つの領域を属性の関係に応じた配置規則に基づいて同一画面内に配置することを含む。これにより、より高品質な試着画像が得られる。
 (8)好ましくは、撮影画像とモデル画像との少なくとも一方は動画である。
 (9)好ましくは、第1の動作モードは、複数の服飾品の組み合わせのパターンに対するユーザのユーザ特性のマッチング度合を、演算モデルを用いてパターンごとに算出し、算出されたマッチング度合に基づいて1以上のパターンを提示することを含み、服飾品を装着したモデル画像は、1以上のパターンを装着したモデル画像である。
 (10)好ましくは、演算モデルは、パターンについてユーザ特性ごとのマッチング度合を規定する情報を含む。このため、演算モデルを用いてマッチング度合を算出することができる。
 (11)好ましくは、マッチング度合を算出することは、複数パターンのうちのユーザが選択したパターンについてのマッチング度合を算出することを含む。これにより、ユーザの所望するパターンについてのマッチング度合が得られる。
 (12)好ましくは、マッチング度合を算出することは、複数パターンそれぞれについてのマッチング度合を算出することを含み、複数パターンそれぞれのマッチング度合に基づいて、複数パターンの中からユーザに提案するパターンを少なくとも1つ選択する。これにより、マッチング度合に基づいてユーザに提案するパターンが選択される。
 (13)好ましくは、第1の動作モードは、試着画像に含まれる1以上の服飾品について購入の指示を受け付けると、指示された服飾品の購入処理を実行する装置に、指示された服飾品の購入処理に必要な情報を送信することを含む。これにより、簡易な操作によって服飾品を購入することができる。
 (14)好ましくは、指導画像は指導者による動作の見本画像を含み、第2の動作モードは、指導画像の表示中のユーザの動作をカメラによって撮影することと、見本画像を表示することと、を含む。これにより、ユーザは見本画像を見ながら動作することができる。
 (15)好ましくは、第2の動作モードは、カメラによって撮影されたユーザの撮影画像を表示することをさらに含む。これにより、ユーザは自身の動作を見本画像と比較しやすくなる。
 (16)好ましくは、アドバイスを入力する入力装置をさらに備える。このため、入力装置から入力されたアドバイスが出力されるようになる。
 (17)本実施の形態に従う処理装置は、構造物に固定して用いられるディスプレイと、ディスプレイを用いる動作モードを実行可能なコントローラと、を備え、ディスプレイは、構造物への固定具に対して異なる向きに切替可能であり、コントローラは、動作モード実行時のディスプレイの向きを検出し、検出結果に応じて動作モードの処理を異ならせる。これにより、ディスプレイの向きによって異なる動作モードの処理が得られる。
 (18)好ましくは、動作モードは、ディスプレイの異なる向きそれぞれに応じた複数の処理を含み、動作モードの処理を異ならせることは、コントローラが、検出されたディスプレイの向きに対応した処理を実行することを含む。これにより、ある動作モードでは、ディスプレイの向きに対応した処理が行われるようになる。
 (19)好ましくは、動作モードごとに実行に適したディスプレイの向きが規定されており、動作モードの処理を異ならせることは、コントローラが、検出されたディスプレイの向きが実行する動作モードに適した向きでない場合に、適した向きである場合の動作モードの実行と異ならせることを含む。これにより、ある動作モードでは、ディスプレイが適した向きでない場合に、適した向きである場合と異なる処理が行われるようになる。異なる処理は、例えば、サイズを異ならせて表示させるような処理や、適した向きでないことを報知する処理、などである。
 (20)好ましくは、適した向きである場合の動作モードの実行と異ならせることは、ディスプレイの向きが動作モードに適した向きであることが検出されるまで、動作モードの開始を待機することを含む。これにより、ある動作モードでは、ディスプレイの向きが適した向きである場合にのみ動作が開始されるようになる。
 (21)好ましくは、処理装置はディスプレイの向きを切り替える機構をさらに備え、適した向きである場合の動作モードの実行と異ならせることは、動作モードを実行するとともに、ディスプレイの向きを動作モードに適した向きとするように向きを切り替える機構を制御することを含む。これにより、ある動作モードでは、ディスプレイの向きが適した向きでない場合に、適した向きに自動的に変更してから動作が開始されるようになる。
 <2.ヘルスケアシステム及び処理装置の例>
 [第1の実施の形態]
 本実施の形態に係るヘルスケアシステム(以下、システム)100は、ユーザのヘルスケアをトータルでサポートすることができるシステムである。ここでのヘルスケアは、心身のヘルスケアを意味し、運動、美容が及ぼす身体へのヘルスケアに加えて、精神的なヘルスケアも意図している。身体へのヘルスケアは、運動や美容などの動作を伴うものであって、その動作の指導を提供する。以降の説明では、レッスンモードと称される動作モードで実現される。精神的なヘルスケアは、ファッションの願望を満たすような出力、娯楽や美的な欲求を満たすような出力を行うものであって、そのような情報を表示する。以降の説明では、それぞれ、試着モード、絵画モード、及び、テレビ(TV)モードと称される動作モードで実現される。
 図1を参照して、システム100は、処理装置1を含む。また、システム100は、ユーザ装置5A,5Bを含む。ユーザ装置5A,5Bを代表させてユーザ装置5とも称する。処理装置1は、ユーザ装置5のコントローラとして機能する。
 ユーザ装置5A,5Bは、例えば、同一の装置である。ユーザ装置5Aは、ヘルスケアに関する動作を実行するユーザAが用いることが想定されている。ユーザ装置5Bは、ユーザAのヘルスケアに関する動作を指導するサポーターであるユーザBが用いることが想定されている。以降の説明において、ユーザA,ユーザBの区別ない「ユーザ」は、いずれのユーザであってもよい。
 ユーザ装置5は、機能部の一例としてのディスプレイ54を有し、ユーザに情報を出力する装置である。また、ユーザ装置5は、機能部の一例としてのカメラ56を有し、ユーザ装置5近傍を撮影する。ディスプレイ54及びカメラ56は、ユーザ装置5の有する機能の一例である。
 処理装置1及びユーザ装置5は、インターネット等の通信網2に接続可能である。処理装置1は、ユーザ装置5に対して制御信号を送信し、ユーザ装置5の動作を制御する。ユーザ装置5は、その動作によって得られたデータを処理装置1に送信する。
 図2を参照して、処理装置1は、プロセッサ11とメモリ12とを有するコンピュータで構成される。メモリ12は、一次記憶装置であってもよいし、二次記憶装置であってもよい。処理装置1は、通信網2にアクセスするための通信装置13をさらに有する。
 メモリ12は、様々なデータベース(DB)を有している。また、メモリ12は、プロセッサ11によって実行される、複数の動作モード用の複数のプログラムを記憶している。
 メモリ12に記憶されている複数のプログラムは、プロセッサ11に後述する試着モード処理111を実行させる、試着モードプログラム126を含む。また、複数のプログラムは、プロセッサ11に後述するレッスンモード処理116を実行させるためのレッスンモードプログラム127を含む。また、複数のプログラムは、プロセッサ11に後述する絵画モード処理118を実行させるための絵画モードプログラム128を含む。また、複数のプログラムは、プロセッサ11に後述するテレビ(TV)モード処理119を実行させるためのTVモードプログラム129を含む。
 プロセッサ11は、メモリ12に記憶されている複数のプログラムをそれぞれ実行することによって、例えば、試着モード処理111、レッスンモード処理116、絵画モード処理118、及び、TVモード処理119などの複数の動作モードを実行可能である。試着モード処理111、レッスンモード処理116、絵画モード処理118、及び、TVモード処理119は、プロセッサ11が実行可能な複数の動作モードの一例である。
 試着モード処理111は、試着画像をユーザ装置5のディスプレイ54に表示し、その表示を用いた各種動作を行う動作モードである。試着画像は、ユーザ画像の少なくとも一部と、選択されたパターンを装着したモデル画像の少なくとも一部とを併せて表示した画像を指す。ユーザ画像の少なくとも一部は、ユーザの顔を含む領域であり、モデル画像の少なくとも一部は服飾品を含む領域である。これにより、ユーザが選択した服飾品を装着したような画像がユーザ装置5のディスプレイ54に表示され、実際に試着していなくても、あたかもユーザが試着したかのように画像にて確認できる。詳細は後述する。
 レッスンモード処理116は、ユーザAのヘルスケアに関する動作に対する指導画像をユーザ装置5Aに表示する動作モードである。ヘルスケアに関する動作は、美容マッサージ動作を含む。また、ヘルスケアに関する動作は、スポーツの動作を含む。スポーツの動作は、例えば、ダンスや、筋力トレーニングなどの動作を含む。これにより、ユーザAは、スポーツジムやエステティックサロンなどに行かなくてもヘルスケアに関する動作を行うことができ、また、その際の指導画像を見ることができる。詳細は後述する。
 絵画モード処理118は、予め記憶している表示データに基づく画像を、所定の時間間隔でユーザ装置5に表示させる動作モードである。画像は、例えば、絵画であって、1又は複数を表示させてもよい。複数の絵画を表示させる場合、一定時間ずつ異なる絵画を表示させてもよい。これにより、ユーザ装置5を額縁や掛け軸のように用いることができ、高いインテリア性が得られる。
 TVモード処理119は、ユーザ装置5に対してテレビ放送波を受信して再生することを指示する動作モードである。これにより、ユーザ装置5からはテレビ番組が再生される。このため、ユーザ装置5をテレビとして用いることができる。
 図3を参照して、ユーザ装置5は、制御装置50と、出力機能としてディスプレイ54と、入力機能としてカメラ56と、を含む。制御装置50は、プロセッサ51とメモリ52とを有する。また、出力機能として、さらに、スピーカ55を有してもよい。さらに、入力機能として、マイク57や、タッチパネルなどの入力装置59を有してもよい。また、ユーザ装置5は、通信網2にアクセスしたり、後述する身体情報取得装置W(図23参照)と通信したりするための通信装置53をさらに有する。
 メモリ52は、一次記憶装置であってもよいし、二次記憶装置であってもよい。メモリ52は、プロセッサ51によって実行される、複数の動作モード用の複数のプログラムを記憶している。なお、メモリ52や処理装置1のメモリ12に、後述する指導画像を記憶させることもできる。
 メモリ52に記憶されている複数のプログラムは、プロセッサ51に後述する試着モード処理511を実行させる、試着モードプログラム521を含む。また、複数のプログラムは、プロセッサ51に後述するレッスンモード処理514を実行させるためのレッスンモードプログラム522を含む。また、複数のプログラムは、プロセッサ51に後述する絵画モード処理517を実行させるための絵画モードプログラム523を含む。また、複数のプログラムは、プロセッサ51に後述するテレビ(TV)モード処理518を実行させるためのTVモードプログラム524を含む。
 プロセッサ51は、メモリ52に記憶されているプログラムを実行することによって、処理装置1から送信される制御信号に従う処理を実行する。具体的には、プロセッサ51は、処理装置1から送信される制御信号に従って、メモリ52に記憶されている複数のプログラムをそれぞれ実行することによって、例えば、試着モード処理511、レッスンモード処理514、絵画モード処理517、及び、TVモード処理518などの複数の動作モードを実行可能である。試着モード処理511、レッスンモード処理514、絵画モード処理517、及び、TVモード処理518は、プロセッサ51が実行可能な複数の動作モードの一例である。
 試着モード処理511は、処理装置1からの指示に従って試着画像をディスプレイ54に表示し、その表示を用いた各種動作を行う動作モードである。レッスンモード処理514は、処理装置1からの指示に従ってカメラ56でユーザAを撮影して撮影画像を処理装置1に送信するとともに、指導画像を表示し、又、ユーザAのヘルスケアに関する動作に対するアドバイスを出力する動作モードである。絵画モード処理517は、処理装置1からの指示に従って送信された表示データに基づく画像をディスプレイ54に表示する動作モードである。TVモード処理518は、処理装置1からの指示に従ってテレビ放送波を受信して再生する動作モードである。
 システム100では、図4に示されたように、複数の動作モードが実行される。すなわち、図4を参照して、システム100では、初期状態S0から、ユーザの指示に応じて試着モードS1、レッスンモードS2、絵画モードS3、及び、TVモードS4に切り替わる。初期状態S0は、例えば、ユーザ装置5のディスプレイ54にホーム画面が表示され、動作モードが選択可能な状態、などである。なお、システム100は、これら以外の動作モードを含んでもよい。
 システム100で実行可能な複数の動作モードの中には、カメラ56を共通して用いる複数のモードが含まれる。カメラ56を用いる複数の動作モードは、図4の例では、試着モードS1及びレッスンモードS2である。
 上記複数の動作モードにおいて、カメラ56は共通して用いられるものの、カメラ56はこれら動作モードにおいてそれぞれ異なる機能を果たす。すなわち、図4を参照して、試着モードS1においては、カメラ56は、ユーザAの撮影S100に用いられる。撮影S100で得られた撮影画像は、試着画像の表示S102の際に、モデル画像とともに表示するユーザ画像として用いられるものである。
 レッスンモードS2においては、カメラ56は、ユーザAの動作の検出S200に用いられる。動作の検出S200は、カメラ56によって得られた撮影画像をユーザ装置5Bに表示し、ユーザBによってその画像からユーザAの動作を検出することを含む。また、動作の検出S200は、カメラ56によって得られた撮影画像を画像解析することでユーザAの動作を検出することを含んでもよい。画像解析によってユーザの動作を検出することは、例えば、ユーザが行った特定の動作の回数を検出すること、などである。検出されたユーザの動作に基づいて、ユーザ装置5Aではアドバイスの出力S202がなされる。
 このように異なる機能を果たす場合であっても単一の機能部を複数の動作モードに共通して用いることによって、必要とされる機能ごとにそれぞれ機能部を用意する場合に比べて機能部の数を減らすことができる。すなわち、この例の場合、それぞれの動作モード用に2つ以上カメラを搭載することなく、共通のカメラ56を各動作モードで用いることができる。その結果、装置を簡易にすることができる。
 図5を参照して、ユーザ装置5のディスプレイ54は矩形である。好ましくは、ディスプレイ54は等身大である。等身大とは、長手方向の長さが一般的な成人の身長よりも長いサイズを指し、例えば、長手方向の長さが150cm~200cm程度である。これにより、カメラ56で撮影されたユーザの全身がディスプレイ54に表示されるようになる。
 等身大のディスプレイ54は床面や壁面などの構造物に固定具6によって固定して用いられることが想定されている。構造物は、床面に設置されたテレビスタンドも含む。この場合、固定具6は、一例として、テレビスタンドの部品である。ディスプレイ54は、構造物であるテレビスタンドに対して固定具6によって固定されている。ディスプレイ54は、固定具6に対して第1の向きと第2の向きとに、向きが可変である。図5の例では、第1の向きは、長辺を縦、短辺を横にして縦長となる向き、つまり、長手方向が縦を向く向き、第2の向きは、長辺を横、短辺を縦にして横長となる向き、つまり、長手方向が横を向く向きである。
 ディスプレイ54の向きは、一例として、ディスプレイ54を物理的に回転させることによって可変となる。この場合、一例として、固定具6とディスプレイ54との接続部に回転部材が設けられる。回転部材は、人が操作することで回転する部材である。又は、回転部材は、処理装置1からの制御信号に従って回転が制御されてもよい。
 カメラ56は、プロセッサ51の制御に従って、又は、自動的に撮影動作を行い、撮影データをプロセッサ51に入力する。図1に示されたように、カメラ56は、一例として、ディスプレイ54の正面を撮影範囲とするようにディスプレイ54に内蔵されている。ディスプレイ54の、ユーザに向かう側の面を正面とする。
 好ましくは、カメラ56は、ディスプレイ54が第1の向きとなり、ユーザがその正面に立ったときにユーザの頭部付近となる高さに設置される。これにより、第1の向きでカメラ56によってディスプレイ54の正面に立つユーザの全身を撮影することができる。
 システム100では、動作モードごとに実行に適したディスプレイ54の向きが規定されている。すなわち、図5を参照して、試着モード及びレッスンモードは、実行に適したディスプレイ54の向きが第1の向きと規定されている。この場合、試着画像やヘルスケアに関する動作の指導画像が縦長画像である場合に、等身大で表示される。これによりユーザは試着画像や指導画像を見やすくなる。
 一方、TVモードは第2の向きと規定されている。この場合、横長の表示であることが多いテレビ用のコンテンツが、ディスプレイ54のサイズを有効に利用して表示されるようになる。これによりユーザはテレビ番組を見やすくなる。
 また、複数の動作モードの中には、実行に適したディスプレイ54の向きが規定されていないもの、又は、両向きともに適した向きと規定されたものがあってもよい。図5の例では、絵画モードについて、第1の向き及び第2の向き共に適した向き、つまり、適した向きが1つに規定されていない。
 これは、図2に示されたように、処理装置1のメモリ12に記憶されている絵画モードプログラム128には、縦長画像用プログラム81と横長画像用プログラム82とが含まれているためである。プロセッサ11は、ディスプレイ54が第1の方向のときに縦長画像用プログラム81を実行する。これにより、絵画モード処理118のうちの縦長画像表示処理81Aが行われる。また、プロセッサ11は、ディスプレイ54が第2の方向のときに横長画像用プログラム82を実行する。これにより、絵画モード処理118のうちの横長画像表示処理81Bが行われる。
 システム100では、処理装置1が動作モード実行時のユーザ装置5のディスプレイ54の向きを検出し、検出結果に応じて動作モードの処理が異なるように制御する。これは、言い換えると、ディスプレイ54を機能部として、縦方向での表示と横方向での表示と果たす機能が異なる場合であっても、複数の動作モードで共通の機能部を用いることに相当する。
 このために、ユーザ装置5は、センサ58をさらに含む。センサ58は、ディスプレイ54の向きの変化を検出するセンサである。センサ58は、例えば、ディスプレイ54の向きが変化する際に接触する位置に設けられた物理的なボタン、ディスプレイ54の向きが変化する際にセンサ光を遮るように設けられた発光素子及び受光素子、などである。センサ58は、検出結果を示すセンサ信号をプロセッサ51に入力する。
 なお、ディスプレイ54の向きは、プロセッサ51の制御に従って可変であってもよい。例えば、ユーザ装置5にはディスプレイ54の向きを変化させるための駆動機構が設けられ、入力装置59で受け付けたユーザ操作に従うプロセッサ51の制御によって駆動機構が駆動し、ディスプレイ54の向きが変化してもよい。この場合、センサ58は不要としてもよい。
 プロセッサ51は、図3に示されたように、検出処理519をさらに実行する。検出処理519は、センサ58からのセンサ信号に基づく信号を通信装置53に渡し、処理装置1に送信させる処理である。
 処理装置1のプロセッサ11は、図2に示されたように、判定処理115をさらに実行する。判定処理115は、ユーザ装置5から送信された上記のセンサ信号に基づく信号が、処理を実行する動作モードに対して規定されているディスプレイ54の向きに応じたものであるか否かを判定すること、つまり、ユーザ装置5のディスプレイ54の向きが実行しようとしている動作モードに適した向きであるか否かを判定することを含む。
 好ましくは、プロセッサ11は、各動作モードの処理111,116,118,119において、判定処理115での判定結果に応じて処理を異ならせる。すなわち、検出されたディスプレイ54の向きが実行する動作モードに適した向きでない場合に、適した向きである場合の動作モードの実行と異ならせる。一例として、プロセッサ11は、図6に表されたような制御を行う。すなわち、図6を参照して、プロセッサ11は、起動を指示された動作モードを確認し(ステップS11)、起動を指示された動作モードに応じて異なる制御を行う。
 実行する動作モードがレッスンモードである場合(ステップS11で「試着モード又はレッスンモード」、かつ、ステップS13でYES)、プロセッサ11は、ユーザ装置5からのセンサ信号に基づく信号が、ディスプレイ54の向きが第1の向きであることを示す信号であるか否か、すなわち、ディスプレイ54の向きが第1の向きであるか否かを判定する。判定結果が是である場合(ステップS15でYES)、プロセッサ11はレッスンモード処理116を実行する(ステップS17)。これにより、システム100ではレッスンモードの動作が開始する。
 判定結果が否である場合、つまり、ユーザ装置5のディスプレイ54が第2の方向である場合(ステップS15でNO)、プロセッサ11は、レッスンモード処理116として、ユーザ装置5のディスプレイ54に指導画像などを縮小表示させる(ステップS19)。ステップS19では、具体的には、縦長に設定されていた指導画像を第2の方向のディスプレイ54の縦方向の長さにあわせるように縮小して表示させる。これにより、横長であっても縦長の指導画像が表示されてレッスンモードの動作が開始される。
 好ましくは、この場合、プロセッサ11は、推奨方向として第1の方向を示す情報をユーザ装置5から出力させる(ステップS21)。例えば、「縦長にしてください」などの表示をディスプレイ54に行わせてもよい。これにより、ディスプレイ54の向きが適した方向にされることが促される。
 実行する動作モードが試着モードである場合も(ステップS11で「試着モード又はレッスンモード」、かつ、ステップS13でNO)、プロセッサ11は、上記ステップS15以下と同様の処理を行う。すなわち、ディスプレイ54が第1の向きである場合に(ステップS25でYES)、通常の試着モード処理111を実行し(ステップS27)、そうでない場合に(ステップS25でNO)、試着画像を縮小して表示するように試着モード処理111を実行するとともに(ステップS29)、推奨方向として第1の方向を示す情報をユーザ装置5から出力させる(ステップS31)。
 実行する動作モードが絵画モードである場合(ステップS11で「絵画モード」)、プロセッサ11は、ユーザ装置5からのセンサ信号に基づく信号に応じて、ディスプレイ54の向きが第1の向きか第2の向きかを判定する。そして、プロセッサ11は、ディスプレイ54の向きに対応した処理を実行する。
 具体的には、ディスプレイ54が第1の向きのとき(ステップS35でYES)、プロセッサ11は絵画モード処理118のうちの縦長画像表示処理81Aを実行する(ステップS39)。これにより、システム100では、ディスプレイ54の向きを縦向きとして絵画モードを実行させた場合、ディスプレイ54には縦長の絵画が表示される絵画モードが実行され、絵画が見やすく表示されるようになる。
 ディスプレイ54が第2の向きのとき(ステップS35でNO)、プロセッサ11は絵画モード処理118のうちの横長画像表示処理81Bを実行する(ステップS37)。これにより、システム100では、ディスプレイ54の向きを横向きとして絵画モードを実行させた場合、ディスプレイ54には横長の絵画が表示される絵画モードが実行され、絵画が見やすく表示されるようになる。
 実行する動作モードがTVモードである場合(ステップS11で「TVモード」)、プロセッサ11は、ディスプレイ54の向きが第2の向きであるか否かを判定する。判定結果が是である場合(ステップS41でYES)、プロセッサ11はTVモード処理119を実行する(ステップS43)。これにより、ユーザ装置5ではテレビ番組の再生が開始される。
 判定結果が否である場合、つまり、ユーザ装置5のディスプレイ54が第1の方向である場合(ステップS41でNO)、プロセッサ11は、TVモード処理119を実行せず、エラー表示させる(ステップS45)。これにより、TVモードの開始が適した向きである第2の向きとなるまで待機される。又は、ステップS45でエラー表示をさせた後、プロセッサ11は、ディスプレイ54の回転部材を回転させる制御信号をユーザ装置5に対して送信してもよい。この制御信号に従ってディスプレイ54が自動的に回転して第2の方向となった後にTVモード処理119を開始してもよい。なお、この制御は、上記のレッスンモードや試着モードで行われてもよい。すなわち、レッスンモードや試着モードでも、ディスプレイ54が適した向きになるまで実行を待機してもよい。
 (試着モード)
 メモリ12のDBは、試着モード処理111で用いられるDBを含む。試着モード処理111で用いられるDBは、モデル画像DB121、ユーザ画像DB122、及び、パターンテーブル123を含む。
 モデル画像DB121は、モデル画像データを、商品とサイズと属性との情報を付加して登録するデータベースである。モデル画像は、服飾品を装着したモデルを被写体として撮影することによって得られた撮影画像である。モデル画像に付加された商品の情報は、被写体であるモデルの装着している服飾品を特定する情報である。
 モデルは、1以上の服飾品を装着している。2以上の服飾品からなるパターンを装着していてもよい。パターンは、複数種類の服飾品の組み合わせを指す。服飾品が衣服である場合、パターンはいわゆるコーディネートとも呼ばれ、例えば、ジャケット、トップス、及び、ボトムの組み合わせ、などである。服飾品群は、例えば、ジャケット等のトップス、パンツやスカートなどのボトム、シャツやブラウスなどのインナー、スニーカーやサンダルなどの靴、帽子やマフラーやアクセサリーなどの装飾品、及び、バッグ、などのうちの1以上の組み合わせである。
 詳しくは、図7を参照して、モデル画像は、商品である服飾品ごとに装着したモデルが被写体として撮影された撮影画像であって、商品の識別情報、サイズ、その他の属性などと関連付けて記憶されている。
 サイズは、モデルの装着している服飾品のサイズを特定する情報である。ここでは、服飾品のサイズが異なるモデル画像は、被写体であるモデルが異なってもよい。つまり、服飾品のサイズにあった体型のモデルの撮影画像であってもよい。これにより、サイズごとに服飾品の着こなしを確認することが可能になる。
 ユーザ画像DB122は、図8に示されるように、ユーザ画像を識別情報、及び、その他属性に関連付けて登録するデータベースである。その他属性は、ユーザ画像における被写体のサイズに応じた属性を含み、例えば、ユーザの身長や体重などである。ユーザ画像は、一例として、ユーザ装置5の有するカメラ56によって撮影された、ユーザ装置5のユーザの撮影画像の少なくとも一部である。
 パターンテーブル123は、パターンに対するユーザ特性のマッチング度合を求めるための演算モデルを1つ以上含む。マッチング度合は、そのパターンがユーザに似合うパターンであるか否かを指標化したものであって、例えば、ポイントである。ポイントは、例えば、100点が似合う状態を表し、0点が似合わない状態を表すとした点数である。
 詳しくは、図9を参照して、パターンテーブル123は、パターンに対して、ユーザ属性ごとにポイントを規定する、演算モデルを含む。すなわち、図9の例の第1列目では、パターンP1について、性別「F」、年齢帯「20~30」、体形「S」、顔型「丸」、及び、肌色「色白」のユーザ属性についてポイント「95」を規定し、第2列目では、性別「F」、年齢帯「20~30」、体形「S」、顔型「丸」、及び、肌色「褐色」のユーザ属性についてポイント「60」を規定している。つまり、パターンテーブル123は、同一のパターンP1について、ユーザ属性ごとにポイントを規定する演算モデルを含む。この演算モデルを用いることにより、パターンP1について、ユーザ属性ごとにマッチング度合が得られる。
 ユーザ属性ごとのポイントは、例えば、スタイリストなどのマッチング度合を判定できる人によって決定された値であってもよい。その場合、演算モデルはそのスタイリストのスタイリングのポリシーを表したものになる。つまり、1つの演算モデルはその一人のスタイリストに対応したものとなっている。以降の説明において、演算モデルとスタイリストとが対応付けられていることは、演算モデルがスタイリストによって決定されたポイントをマッチング度合として規定するものであることを意味している。
 好ましくは、パターンテーブル123に含まれる1つの演算モデルは、図9に示されるように、複数のパターンP1,P2,…について、それぞれ、ユーザ属性ごとにポイントを規定している。この演算モデルを用いることにより、複数パターンP1,P2,…それぞれについて、ユーザ属性ごとにマッチング度合が得られる。演算モデルがスタイリストと対応したものである場合、複数のパターンP1,P2,…それぞれのユーザ属性ごとのポイントは、同一のスタイリストによって複数のパターンP1,P2,…それぞれに対して決定された値である。
 好ましくは、パターンテーブル123は、図9に示されるように、演算モデルを複数含む。すなわち、パターンテーブル123は、パターンP1,P2,…についてのユーザ属性ごとにマッチング度合を規定する演算モデルを、複数含む。
 演算モデルとスタイリストとが対応している場合、複数の演算モデルは、それぞれ異なるスタイリストによって決定された値をマッチング度合として規定したものである。そのような場合を想定して、図9の例では、複数の演算モデルそれぞれに「スタイリストA」、「スタイリストB」、「スタイリストC」…のタイトルが付されている。これは、複数の演算モデルがそれぞれ、「A」「B」「C」…で識別されるスタイリストに対応していることを意味している。つまり、パターンテーブル123は、複数スタイリストそれぞれに対応した複数の演算モデルを含んでいるものとされている。
 従って、演算モデルは、1又は複数のパターンのグループについて、適したユーザ属性の傾向を規定したものであって、各スタイリストの特性、つまり、各スタイリストの設定した1以上のパターンからなるパターングループの特性を表しているとも言える。
 図10を参照して、プロセッサ11が実行する試着モード処理111は、表示処理112を含む。表示処理112は、試着画像を表示するための処理であって、図10を参照して、選択処理21、抽出処理22、及び、配置処理23を含む。
 選択処理21は、ユーザ装置5から、ユーザの服飾品の選択結果を示すデータを受信し、モデル画像DB121に記憶されている複数のモデル画像の中から、ユーザによって選択された服飾品を示す商品の情報が付加されたモデル画像を選択することを含む。
 選択処理21は、さらに、ユーザ装置5からユーザの識別情報を受信し、ユーザ画像DB122に記憶されている複数のユーザ画像の中から、該当するユーザのユーザ画像を選択することを含む。該当するユーザ画像は、例えば、受信したユーザの識別情報に一致する識別情報に関連付けられたユーザ画像である。
 抽出処理22は、選択処理21によって選択されたモデル画像から、表示に用いる領域(以下、表示領域とも称する)を抽出する処理である。この処理を実行するために、プロセッサ11には、モデル画像中の、表示領域とする領域が、予め規定されている。これにより、表示領域を特定するための処理が不要となる。なお、抽出処理22は、表示に用いるユーザ画像から表示領域を抽出することを含んでもよい。
 配置処理23は、モデル画像の表示領域とユーザ画像の表示領域とを、予め設定された配置規則に応じて同一画面内に配置する処理である。
 好ましくは、配置処理23はサイズ変更処理24を含む。この場合、メモリ12に記憶されているモデル画像には、画像中の服飾品の大きさに応じた情報が付加されている。画像中の服飾品の大きさに応じた情報は、一例として、図11に示されたように、カメラCAから被写体Cまでの距離に応じた属性が設定されている。図11の例では、属性は、カメラCAから被写体Cまでの距離が属性に含まれている。サイズ変更処理24は、モデル画像の上記属性、及び、ユーザ画像における被写体のサイズに応じた属性の関係に基づいて、モデル画像の表示領域及びユーザ画像の表示領域の少なく一方のサイズを変更する処理である。
 好ましくは、配置処理23は、境界加工処理25を含む。境界加工処理25は、同一画面に配置されたモデル画像の表示領域とユーザ画像の表示領域との境界範囲を加工する処理であって、例えば、ぼかし加工などを行う処理である。
 試着モード処理111は、また、提案処理114を含む。提案処理114は、ユーザにパターンを提案するために必要な演算を行う処理である。提案処理114は、図10を参照して、属性抽出処理41を含む。属性抽出処理41は、ユーザ装置5から受信したユーザの識別情報に基づいて、ユーザ画像DB122にユーザ画像と関連付けて記憶されているユーザ属性を抽出する処理である。ユーザ属性が抽出されることで、後述の算出処理43での演算にユーザ属性を用いることができる。
 提案処理114は、第1提示処理42を含む。第1提示処理42は、パターンテーブル123に含まれる複数の演算モデルを、ユーザが選択可能な選択肢としてユーザ装置5のディスプレイ54に表示させる処理である。
 第1提示処理42は、演算モデルごとに、その演算モデルの選択肢として提示するための提示情報を予め記憶しておく。提示情報は、例えば、演算モデルに対応したスタイリストの名前などの演算モデルの識別情報である。好ましくは、提示情報は、スタイリスト名に加えて、演算モデルの特徴を表す情報である。演算モデルの特徴は、例えば、対象とするユーザの属性である。また、演算モデルに対応したスタイリストの特徴であってもよい。スタイリストの特徴は、例えば、スタイリングの対象となるユーザの属性、スタイリングのポリシー、得意とするスタイリング、活躍する雑誌などの媒体、スタイリングを手掛けた有名人、などである。
 第1提示処理42は、パターンテーブル123に含まれる複数の演算モデルそれぞれの提示情報を通信装置13に渡し、演算モデルの選択肢として表示させる制御信号とともにユーザ装置5に送信させることを含む。これにより、ユーザ装置5のディスプレイ54に複数の演算モデルの選択肢が表示される。その際に、上記のような演算モデルの特徴が表示されることによって、ユーザは、演算モデルを選択しやすくなる。
 好ましくは、第1提示処理42は、スタイリスト選択処理117を含む。スタイリスト選択処理117は、パターンテーブル123に含まれる複数の演算モデルのうちから1以上の演算モデルをユーザ装置5で提示する候補として選択する処理である。スタイリスト選択処理117では、一例として、演算モデルの登録日時や、季節などの、ユーザ装置5のユーザに関わらない情報に基づいて演算モデルが選択されてもよい。また、他の例として、ユーザ装置5のユーザの性別や年齢帯などのユーザの属性に応じて演算モデルが選択されてもよい。
 このように演算モデルが選択されることで、ユーザ装置5では、パターンテーブル123に含まれる複数の演算モデルのすべてではなく、選択された演算モデルが選択肢として表示されることになる。すなわち、ユーザ装置5に選択肢として表示される演算モデルの数を抑えることができる。それにより、ユーザは、処理に用いる演算モデルを選択しやすくなる。
 また、ユーザの性別や年齢帯などの属性に応じて演算モデルが選択されることで、ユーザは、自分の属性に適した演算モデルの中から処理に用いる演算モデルを選択することができる。その結果、効率的にマッチング度合を得ることができる。
 なお、スタイリスト選択処理117は、パターンテーブル123に含まれる複数の演算モデルのうちから1つの演算モデルを選択してもよい。この場合、ユーザ装置5には推奨する演算モデルが提示されることになり、その演算モデルを用いて演算を行うか否かの選択となる。これにより、ユーザは、演算モデルの選択を行う手間なく効率的にマッチング度合を得ることができる。
 提案処理114は、算出処理43を含む。算出処理43は、特定のパターンに対する、ユーザ装置5のユーザのマッチング度合を算出する処理である。特定のパターンは、例えば、ユーザ装置5からのデータによって指定されるパターンである。また、特定のパターンは、予め規定されているパターンであってもよい。
 算出処理43は、テーブル選択処理44を含む。テーブル選択処理44は、ユーザ装置5から受信した、第1提示処理42によってユーザ装置5に表示された選択肢のうちの選択結果を示すデータに基づいて、算出処理43に用いる演算モデルをパターンテーブル123から選択する処理である。図9の例において、「スタイリストA」が選択された場合、テーブル選択処理44では、パターンテーブル123から「スタイリストA」が付された演算モデルが選択される。これにより、算出処理43で選択された演算モデルを用いることができる。
 算出処理43は、選択された演算モデルにおいて、特定のパターンについて各属性に対して規定されているポイントのうち、属性抽出処理41で抽出された属性に応じたポイントを読み出すことを含む。これにより、ユーザ装置5のユーザについて特定のパターンに対するマッチング度合を示すポイントが得られる。
 提案処理114は、第2提示処理45を含む。第2提示処理45は、特定のパターンのマッチング度合をユーザ装置5に表示させる処理である。マッチング度合の表示は、マッチング度合そのものの表示であってもよいし、マッチング度合そのものに替えて、又は、加えて、マッチング度合に基づく表示であってもよい。マッチング度合に基づく表示は、マッチング度合に応じて予め規定されているテキストや画像などである。
 第2提示処理45は、算出処理43で算出されたマッチング度合を示すポイントを通信装置13に渡し、表示を指示する制御信号とともにユーザ装置5に送信させることを含む。これにより、ユーザ装置5のディスプレイ54に特定のパターンについてのマッチング度合が表示される。その結果、ユーザ装置5のユーザは、特定のパターンが自身に似合うか否かを知ることができる。
 好ましくは、第2提示処理45は、特定のパターンを構成する各服飾品を表す画像データ、又は、特定のパターンそのものを表す画像データをモデル画像DB121から抽出して通信装置13に渡し、表示を指示する制御信号とともにユーザ装置5に送信させることを含む。これにより、ユーザ装置5のディスプレイ54に特定のパターンの画像が表示される。その結果、ユーザは、特定のパターンを画像で確認することができる。
 より好ましくは、第2提示処理45は、さらに、ユーザの画像データをユーザ画像DB122から抽出して、ユーザの画像データと特定のパターンを表す画像データとを合わせた試着画像をユーザ装置5のディスプレイ54に表示させてもよい。試着画像は静止画であっても動画であってもよい。これにより、ユーザ装置5のディスプレイ54に、提案されたパターンが試着画像として表示される。その結果、ユーザ装置5のユーザは、特定のパターンを装着した状態、つまり、試着状態を画像で確認することができる。
 試着モード処理111は、また、購入処理113を含む。購入処理113は、表示処理112によってユーザ装置5のディスプレイ54に表示された服飾品を購入するための処理である。購入処理113は、ユーザ装置5から購入の指示を受け付けて、表示中の服飾品の販売サイトに購入に必要な情報を送信することを含む。
 好ましくは、購入処理113は、ユーザ装置5のディスプレイ54に複数の服飾品からなるパターンが表示されている場合に、ユーザ装置5から一括して購入の指示を受け付けると服飾品ごとにその服飾品を販売するサイトに必要な情報を渡して購入処理を行わせる。これにより、ユーザは、服飾品ごとに異なるサイトに対して購入のための操作を行う必要がなく、ユーザ操作が簡略化される。
 試着モードにおいて、モデル画像は、図11に示された生成方法によって生成される。すなわち、図11を参照して、カメラCA対して予め規定された位置関係となる撮影位置に被写体Cであるモデルを配置する。予め規定された位置関係は、カメラCAから規定の距離Lとなる位置である。モデルは、装飾品を装着した状態である。
 次に、距離Lに配置されたモデルを、カメラCAにて撮影する。この撮影によって得られたモデル画像31に、上記位置関係に応じた属性として、例えば距離Lを示すデータを付加してモデル画像DB121に格納する。また、好ましくは、さらに、服飾品のサイズを示すデータを付加する。これにより、図7に示されたようにモデル画像DB121にモデル画像が登録される。
 好ましくは、モデル画像は動画である。これにより、服飾品が衣服などの全方向から試着状態を確認したいものである場合、正面からのみならず、背面や側面も試着状態を確認できる。また、後述する試着画面において動いたときの服飾品の装着状態も表示されるため、あたかも実際に試着して動いているように試着状態を確認できる。
 距離Lは可変であってもよい。服飾品のサイズに応じてモデル画像における服飾品のサイズを変えることで、見やすくなるためである。例えば、服飾品がスーツなどの全身に装着されるものの場合、距離Lを大きくしてモデルの全身を撮影することが望まれる。一方、服飾品がシャツなどの全身に及ばない範囲に装着されるものの場合、距離Lを小さくして服飾品が大きくなるように撮影することが望まれる。このように、モデル画像に属性として付加される距離Lは、モデル画像の表示領域における被写体のサイズを示している。
 プロセッサ11で試着モード処理111の表示処理112が実行され、プロセッサ51で試着モード処理511が実行されることによって、システム100では、図12に示された流れで試着画面が表示される。すなわち、図12を参照して、ユーザ装置5では、ユーザによる服飾品の選択操作を受け付ける(ステップS51)。このとき、ユーザ装置5のディスプレイ54には、図13に示される、服飾品の選択用画面545が表示される。選択用画面545は、一例として、衣服などの通信販売用のサイトである。
 図13を参照して、選択用画面545は、服飾品を表示する領域548と、その服飾品の試着画面の表示を指示するボタン547と、を含む。そのほか、服飾品の購入処理を指示するボタンなどが含まれていてもよい。ステップS51の服飾品の選択を受け付けることは、例えば、選択用画面545においてボタン547のタッチを受け付けることである。ステップS51で服飾品の選択を受け付けると、ユーザ装置5は選択結果を示すデータを、ユーザの識別情報とともに処理装置1に送信する(ステップS53)。
 なお、ステップS51の服飾品の選択を受け付けることは、1つの服飾品を直接選択することのみに限定されない。他の例として、服飾品を使用する目的を選択することや、スタイリストなど服飾品を選択する者を選択すること、などによって、2つ以上の服飾品群からなる服飾品の組み合わせを選択することも含む。目的を選択することは、例えば、仕事に用いる服飾品、休日に用いる服飾品、パーティーなどの特定の催事に用いる服飾品、和服や洋装などの特定のモチーフをもって選択する服飾品などである。選択処理は、服飾品の組み合わせの選択も含む。つまり、選択処理は、1以上の服飾品を選択する処理を指す。そして、選択処理の選択結果は、選択された1つの服飾品を示す情報のみならず、複数の服飾品の組み合わせを示す目的やスタイリストなど服飾品を選択する者を示す情報も含む。
 選択結果を示すデータを受信した処理装置1では、ユーザの識別情報に基づいてそのユーザのユーザ画像をユーザ画像DB122から抽出する(ステップS55)。また、抽出されたユーザ画像に付加されているユーザの属性を抽出する(ステップS57)。ステップS57で抽出される属性は、ユーザの体型を示すデータを含む。
 処理装置1は、さらに、ユーザ装置5から受信した選択結果を示すデータに基づいて、選択された服飾品を装着しているモデル画像をモデル画像DB121から選択する(ステップS59)。さらに、処理装置1は、選択された服飾品を装着しているモデル画像の中から、ステップS57で抽出したユーザの体型に応じたサイズの服飾品を装着しているモデル画像を選択する(ステップS61)。
 処理装置1は、選択されたモデル画像及びユーザ画像それぞれから表示領域を抽出し(ステップS63)、同一画面に予め設定された配置規則に応じて配置する(ステップS65)。
 詳しくは、図14を参照して、処理装置1は、モデル画像31から表示領域311を抽出する。また、ユーザ画像32から表示領域321を抽出する。モデル画像31とユーザ画像32とは同じサイズであって、表示領域311と表示領域321とは、モデル画像31及びユーザ画像32の画像のサイズに対して設定されている境界線BOを挟む関係にある。すなわち、表示領域311は境界線BOよりも下、つまり、被写体であるモデルが服飾品を装着している部位を含む側、つまり、首から下の領域である。表示領域321は境界線BOよりも上、つまり、被写体であるユーザの顔を含む側の領域である。
 処理装置1は、画面540に表示領域311と表示領域321とを配置する。画面540はモデル画像31及びユーザ画像32と同じサイズであって、境界線BOに相当する境界を挟むように表示領域311と表示領域321とを配置する。すなわち、境界線BOに相当する境界よりも下の領域542に表示領域311を配置する。境界線BOに相当する境界よりも上の領域541に表示領域321を配置する。
 このようにして生成された画面データは、処理装置1からユーザ装置5に送信され(ステップS71)、ユーザ装置5のディスプレイ54にて表示される(ステップS73)。このようにモデル画像31の表示領域311とユーザ画像32の表示領域321とを配置規定に従って配置することによって、図14に示されたように、画面540の領域541ではユーザの顔が表示され、領域541の下に隣接する領域542にはモデル画像の首から下が表示される。これにより、容易な処理によって、画像の品質の劣化を抑えて、あたかもユーザが服飾品を装着しているような画面を表示することができる。特に、少なくとも一方の画像が動画である場合にも、領域541及び、又は領域542で動画を再生するだけで、試着画面を動画で表示することができる。つまり、容易な処理によって、画像の品質の劣化を抑えて、あたかもユーザが服飾品を装着しているような画面を動画で表示することができる。
 好ましくは、処理装置1は、モデル画像に属性として付加された距離Lと、ユーザ画像におけるユーザのサイズに応じた属性との関係に基づいて、表示領域321及び表示領域311の少なく一方のサイズを変更する(ステップS67)。
 例えば、ユーザ画像におけるユーザの顔のサイズが、距離Lが1800mmであるモデル画像の首から下の画像のサイズと対応している場合、図7の商品「シャツ1」に示されたような、距離Lが1000mmであるモデル画像の表示領域311と同一画面に配置するとサイズが適合しない。そこで、この場合、ユーザ画像の表示領域321を拡大した上で、それぞれの中心が一致するような配置で同一画面に配置する。又は、モデル画像の表示領域311を縮小した上で、それぞれの中心が一致するような配置で同一画面に配置してもよい。
 サイズ変更処理が行われることによって、ユーザ画像とモデル画像とにおいて被写体のサイズが異なる場合でも、画像解析などによってそれぞれの被写体のサイズを特定するなどの処理を不要として、これら被写体のサイズを容易に適切な関係にすることができる。その結果、容易な処理で品質の劣化を抑えて試着画面を表示させることができる。
 好ましくは、処理装置1は、画面540の境界線BOに相当する境界を挟む所定範囲549を境界加工処理する(ステップS69)。境界加工処理は、例えばぼかし処理などの、境界があいまいとなるような処理である。これにより、ユーザ画像とモデル画像との境界があいまいとなり、不自然さを抑えることができる。すなわち、容易な処理で試着画面の品質の劣化を抑えることができる。
 プロセッサ11で試着モード処理111の提案処理114が実行され、プロセッサ51で試着モード処理511が実行されることによって、システム100では、図15に示された流れで提案処理が実行される。また、その処理の際に、図16に示される画面をユーザ装置5に表示させる。なお、図15の処理は、ユーザ装置5の入力装置59によってパターンの選択を受け付け、又は、パターンの提案を行うことが指示され、そのユーザ操作に従う操作信号がユーザ装置5から入力されることによって開始される。
 図15を参照して、処理装置1のプロセッサ11は、ユーザ画像DB122を参照してユーザ装置5から受信した上記の操作信号からユーザ装置5のユーザを特定し、ユーザ画像DB122からそのユーザの属性を抽出する(ステップS101)。また、プロセッサ11は、ユーザ装置5から受信した上記の信号から、マッチング度合を算出する対象となる特定のパターンを特定する(ステップS103)。
 次に、プロセッサ11は、ユーザ装置5に演算モデルの選択肢を提示する処理を実行する。すなわち、プロセッサ11は、ユーザ装置5に演算モデルの選択肢として表示させる演算モデルを選択し(ステップS105)、通信装置13に、選択した演算モデルを選択肢として表示させるためのデータをユーザ装置5に送信させる(ステップS107)。なお、図9の例では演算モデルはスタイリストに対応付けられたものとしており、ステップS107では一例として、スタイリストを選択してそのスタイリストを特定するデータをユーザ装置5に送信させるものとしている。
 ステップS107で通信装置13によって送信されたデータを受信したユーザ装置5では、ディスプレイ54に図示しないスタイリストを選択するための画面が表示される。この画面を用いて、ユーザ装置5のユーザは用いる演算モデルとして希望するスタイリストを選択することができる。
 なお、スタイリストを選択するための画面は、スタイリストごとに、スタイリング対象となるユーザの属性、スタイリングを手掛けた有名人、及び、活躍する雑誌などの媒体、などを特徴として示してもよい。これにより、ユーザは演算モデルを選択しやすくなる。
 処理装置1のプロセッサ11は、ユーザ装置5からスタイリストの選択結果を示す信号を受信すると(ステップS109でYES)、演算処理に用いる演算モデルをパターンテーブル123から選択する(ステップS113)。なお、上記の信号がユーザ装置5から所定時間入力されない場合、プロセッサ11は、予めデフォルト設定されている演算モデルを選択してもよい(ステップS111)。又は、以降の処理を行わずに一連の処理を終了してもよい。
 プロセッサ11は、選択された演算モデルとステップS101で抽出したユーザの属性とを用いて、そのユーザに対するステップS103で特定されたパターンのマッチング度合を算出する(ステップS115)。そして、プロセッサ11は、通信装置13に、算出結果をユーザ装置5に送信させる(ステップS117)。好ましくは、プロセッサ11は、さらに、試着画像を生成し(ステップS119)、通信装置13に、試着画像をユーザ装置5に送信させる(ステップS121)。
 ステップS117及びステップS121で通信装置13によって送信されたデータを受信したユーザ装置5では、ディスプレイ54に図16のような提示画面561が表示される。すなわち、図16を参照して、提示画面561は、マッチング度合を表示する領域562を含み、ステップS117で送信されたマッチング度合を表示する。なお、上記したように、マッチング度合そのものに替えて、又は、加えて、マッチング度合に応じて予め規定されているテキストや画像などが表示されてもよい。すなわち、マッチング度合を表すポイントの表示は必須ではない。
 これにより、ユーザ装置5のユーザは、特定のパターンについて、自身へのマッチング度合、つまり、自分に似合うか否かを知ることができる。さらに、その際に、好みのスタイリストによる自分に似合うかどうかの判断結果を知ることができる。
 好ましくは、提示画面561は、試着画像を表示する領域563を含み、ステップS121で送信された試着画像を表示する。これにより、ユーザ装置5のユーザは、特定のパターンを視覚的に確認することができる。また、実際に試着しなくても試着状態を視覚的に確認することができる。また、試着画像がマッチング度合とともに表示されることで、自分に似合うパターン、又は、似合わないパターンを視覚的に確認することもできる。
 好ましくは、提示画面561は、マッチング度合が算出された特定のパターンを構成する各服飾品についての購入指示を受け付けるためのボタン564をさらに含む。ボタン564は、特定のパターンを構成する服飾品ごとにあってもよい。この場合、ユーザ装置5のプロセッサ51は、ボタン564によって指示された服飾品ごとに、処理装置1に対して購入処理を指示する。処理装置1のプロセッサ11は、ユーザ装置5から上記の指示を受け付けると(ステップS123でYES)、購入処理113を実行する(ステップS125)。
 これにより、ユーザ装置5のユーザは、特定のパターンを構成する服飾品を容易に購入できる。たとえば、特定のパターンを構成する服飾品が同一の販売元の商品でない場合、通常は、各販売元の販売用サイトを調べて購入手続きを行う必要がある。これに対して、提示画面561にボタン564が設けられることによって、ユーザは提示画面561から各服飾品の購入処理を行うことができ、利便性が格段に高まる。
 好ましくは、提示画面561は、個別のボタン564に替えて、又は、加えて、図16に示されたように特定のパターンを構成する複数の服飾品すべてを一括して購入する指示を受け付けるためのボタン565をさらに含んでもよい。この場合、ユーザ装置5のプロセッサ51は、処理装置1に対して複数の服飾品すべてについての購入処理を指示する。これにより、ユーザは服飾品ごとに購入処理を指示する必要がなくなり、利便性が格段に高まる。
 通常の通信販売で服飾品を購入する場合、ユーザは表示画面を見て自分で似合うか否かを判断した上で購入する。そのため、購入後に実際に装着してから似合わないと感じる場合もあり得る。この場合、購入した服飾品が使用されなかったり、購入元に返品されたりする場合もあり得る。この点、本システム100では、算出されたマッチング度合に基づいて、特に、所望するスタイリストによるマッチング度合に基づいて購入を判断することができるため、購入後にユーザが似合わないと感じる可能性を低減できる。これにより、販売元に対する顧客の満足度の向上にも貢献し得る。
 他の例として、図17に示された流れで提案処理が実行されてもよい。なお、図17のステップS201は、図15のステップS101と同じである。図17の処理では、図15のステップS103で行われたマッチング度合を算出するパターンを特定する処理が行われず、予め規定された複数のパターンがマッチング度合を算出するパターンとされる。また、図15のステップS105~S113で行われた演算テーブルを特定するための処理が行われず、マッチング度合の算出には、登録されているすべての演算テーブル、又は、そのうちの規定された演算テーブルが用いられる。
 図17の処理では、ステップS215で複数パターンについてマッチング度合を算出すると、プロセッサ11は、算出したマッチング度合を用いてユーザに提示する1以上のパターンを選択し(ステップS216)、選択したパターンをマッチング度合の算出結果とともにユーザ装置5に送信させる(ステップS217)。なお、以降、ステップS219~S225では、図15のステップS119~S125と同じ処理が行われる。
 ステップS217で通信装置13によって送信されたデータを受信したユーザ装置5では、ディスプレイ54に図18のような提示画面571が表示される。図18は、ユーザに似合うと判定されるマッチング度合のパターンを1つのみ提示する画面であり、似合う1つのパターンをユーザに推薦する画面と言える。すなわち、提示画面571は、ユーザに推薦するパターンであることを表示する領域576を含む。図18の例では、領域576に「あなたに似合うコーディネート」と表記されて、推薦するパターンであることが示されている。以降、領域572,573は図16の領域562,563、ボタン574,575は図16のボタン564,565と同じである。
 これにより、ユーザ装置5のユーザは、複数パターンの中から、自身へのマッチング度合が高いもの、つまり、自分に似合うパターンを知ることができる。さらに、その際に、好みのスタイリストによる自分に似合うかどうかの判断に基づいた似合うパターンを知ることができる。
 なお、ユーザに似合わないパターンが選択される場合、提示画面571では、ユーザ装置5のユーザに似合わないパターンが表示される。これにより、ユーザは、複数パターンの中から、自分には似合わないパターンを知ることができる。
 <他の例1>
 他の例として、図19に示された提示画面581のように、ユーザ装置5に複数のパターンが表示されてもよい。図19の画面例では、領域582に、算出されたマッチング度合が所定の条件を満たす複数のパターンが表示される。所定の条件は、例えば、マッチング度合が予め設定された閾値以上、などである。これにより、所定の程度以上、似合うと判定される複数のパターンが提示されることになる。
 服飾品の画像が上記のように、当該服飾品を装着したモデルの首から下の画像である場合、領域582でのパターンの表示は、一例として、ユーザの顔画像とモデルの首から下の画像との組み合せであってもよい。また、他の例として、ユーザの顔画像との組み合せを行うことなく、モデルの首から下の画像のみであってもよい。この場合、領域582の表示の中から選択された画像について、さらに、ユーザの顔画像と組み合せて表示されてもよい。なお、これら画像は、静止画であっても動画であってもよい。
 この場合、ユーザは、領域582に表示された複数のパターンの中から1以上のパターンを選択してもよい。図19の画面例では、領域583に、例えば、選択されたパターンについてマッチング度合の算出に用いた演算モデルや演算モデルに該当するスタイリストに関する情報などが表示される。その他、各服飾品の情報や試着画像などが表示されるようにしてもよい。また、図19の画面例には、選択されたパターンについて購入用のサイトの表示を指示するボタン584が表示されてもよい。
 <他の例2>
 試着モードでユーザ装置5に表示される画面は、試着画像以外の画像を含んでもよい。ここで、試着画像は、少なくとも、ユーザが通常、試着時に見ることのできる範囲の画像であればよい。通常、試着時に見ることのできる範囲の画像とは、鏡で見ることのできる範囲の画像であって、ユーザが顔を正面に向けた範囲で鏡に映る範囲の画像を指す。この場合のモデル画像は、モデルの顔を正面とした状態で首から下の肢体のカメラに対する角度を変化した画像となり、第1のモデル画像とする。第1のモデル画像の首から下の領域を、正面から撮影したユーザの顔画像とともに表示した試着画像は、ユーザが試着して鏡に映して視認する画像と同じように見ることができる。
 好ましくは、第1のモデル画像には、同一の服飾品を装着したモデルを、正面以外の角度から撮影したモデル画像が関連付けられてモデル画像DB121に格納されている。正面以外の角度から撮影したモデル画像を第2のモデル画像と称する。第2のモデル画像は、例えば、モデルの背後から撮影した画像、つまり、カメラに対して後ろ向きのモデルの撮影画像である。より好ましくは、第1のモデル画像と第2のモデル画像とは、同一の装飾品を装着し、同一のポーズをとったモデルの正面からと正面以外の角度からとの撮影画像である。
 この場合、処理装置1のプロセッサ11は試着モード処理111において、第1のモデル画像の首から下の領域とユーザ画像の首から上の領域とをあわせて表示することで試着画像を生成してユーザ装置5に表示させるとともに、第1のモデル画像に対応付けてモデル画像DB121に格納されている第2のモデル画像もユーザ装置5に表示させる。つまり、試着モードでユーザ装置5に表示される画面は、試着画像の他、試着画像とは異なる、通常ユーザが鏡で見ない角度の画像をさらに含んでもよい。
 プロセッサ11がこのような処理を行うことで、ユーザ装置5のディスプレイ54には、第1のモデル画像を用いた試着画像と第2のモデル画像とが対応付けて表示される。対応付けた表示の一例として、図22に示された試着画面596が表示される。すなわち、図22を参照して、試着画面596は、第1のモデル画像を用いた試着画像を表示する領域597と、第2のモデル画像を表示する領域598とを含む。又は、対応付けた表示の他の例として、表示の切り替えの指示をボタンなどによって受け付け、第1のモデル画像を用いた試着画像と第2のモデル画像とを切り替えて表示してもよい。
 第2のモデル画像は第1のモデル画像とは異なる角度から撮影されたものであるため、このように対応付けて表示されることによって、ユーザ装置5のユーザは、自身の試着状態を正面から確認できるとともに、その他の角度からも確認できる。このとき、その他の角度は通常、鏡で映して見えない角度であるため、ユーザの顔でなくても違和感がない。つまり、第2のモデル画像は首から下の領域をユーザの顔部分と合成する試着画像を生成しなくても、違和感なく正面以外の画像として視認される。またその際に、第1のモデル画像と第2のモデル画像とが同じポーズとすると、より自然に試着画像をその他の角度から見ているような表示とすることができる。
 (レッスンモード)
 メモリ12のDBは、レッスンモード処理116で用いられるDBを含む。レッスンモード処理116で用いられるDBは、アドバイスDB124及びサポートDB125を含む。
 アドバイスDB124は、アドバイスデータを登録するデータベースである。アドバイスデータは、ユーザのヘルスケアに関する動作に対するサポーターからのアドバイスを表したデータを指す。アドバイスDB124には、アドバイスデータがユーザのヘルスケアに関する動作を識別する情報と対応付けて記憶されている。
 サポートDB125は、サポートデータを登録するデータベースである。サポートデータは、ユーザのヘルスケアに関する動作に対する指導画像をユーザ装置5のディスプレイ54に表示させるためのデータである。指導画像は、静止画でも動画でもよい。指導画像は、見本となる画像(以下、見本画像)を含む。見本画像は、一例として、ユーザ装置5のカメラ56によって撮影された撮影画像である。指導画像は、さらに、動作のポイントや、動作に適した商品の情報などの画像を含んでもよい。
 サポートデータには、ヘルスケアに関する動作の種類に対応した識別情報が付加されている。ヘルスケアに関する動作の種類は、例えば、運動と美容とがあり、さらに、運動の中に細かな運動の種類が含まれてもよい。
 図2を参照して、プロセッサ11が実行するレッスンモード処理116は、表示処理61、アドバイス生成処理62、及び、購入処理63を含む。
 表示処理61は、ユーザ装置5のディスプレイ54に指導画像を表示する処理を含む。指導画像に含まれる見本画像は、好ましくは動画である。より好ましくは、見本画像は、ユーザ装置5Bのカメラ56で撮影されたユーザBの動画の撮影画像である。この場合、表示処理61は、サポートDB125からユーザBの撮影画像を読み出して通信装置13に渡し、表示を指示する指示信号とともにユーザ装置5Aに送信させることを含む。これにより、ユーザ装置5Aに見本画像を含む指導画像が表示される。
 なお、見本画像は、処理装置1のメモリ12に予め記憶されていてもよいし、通信網2(ダウンロード)を介して、ユーザ装置5Aのメモリ52に記憶してもよい。通信網2(ダウンロード)を利用することで、見本画像を更新することができる。
 また、見本画像は、複数あることが好ましい。例えば、動作の内容がそれぞれ異なる動作をしているものであってもよいし、動作の内容は同じ動作であるがそれぞれ速さが異なるものであってもよい。異なる速さとは、例えば、通常の速さ(通常速度)、通常の速さよりも低速(ゆっくり速度)、通常の速さよりも高速(速め速度)である。
 ユーザ装置5Aに指導画像が表示されることで、ユーザAは、指導画像に含まれる見本画像を見ながらヘルスケアに関する動作を行うことができる。例えば、ヘルスケアに関する動作がスポーツの動作である場合、ユーザAは、インストラクターであるユーザBの動作をユーザ装置5Aのディスプレイ54で表示させてそれを見ながら、その動作を模倣してスポーツの動作を行うことができる。これにより、ユーザAは、あたかもユーザBと一緒にスポーツの動作をしているような感覚となり、動作がしやすくなる。
 また、ヘルスケアに関する動作が美容マッサージ動作である場合も、ユーザAは、エステティシャンであるユーザBの動作をユーザ装置5Aのディスプレイ54で表示させてそれを見ながら、その動作を模倣して美容マッサージ動作を行うことができる。これにより、ユーザAは、あたかもユーザBと一緒に美容マッサージを行っているような感覚となり、効果的な美容マッサージとなり得る。
 また、表示処理61は、ユーザ装置5のディスプレイ54に動作中画像を表示する処理を含む。動作中画像は、ユーザ装置5Aのカメラ56によって撮影された、ヘルスケアに関する動作を行っているユーザAの撮影画像を表示する処理である。
 表示処理61は、ユーザ装置5Aから撮影画像を取得し、表示を指示する指示信号とともに通信装置13に渡し、ユーザ装置5Bに送信させることを含む。これにより、ユーザ装置5Bのディスプレイ54に動作中画像が表示される。その結果、インストラクターであるユーザBは、ユーザ装置5Bのディスプレイ54の表示によって、ユーザAの行っているヘルスケアに関する動作を見ることができる。そのため、ユーザBは、入力装置59を用いて、ユーザAの動作に対してアドバイスを入力することができる。
 好ましくは、表示処理61は、さらに、動作中画像をユーザ装置5Aのディスプレイ54に表示することを含む。これにより、ユーザ装置5Aのディスプレイ54には、見本画像と動作中画像とが併せて表示される。そのため、ユーザAは、自身の動作をユーザBの動作と比較でき、効果的に動作することができる。
 アドバイス生成処理62は、ユーザ装置5Bからの指示に応じてユーザ装置5Aに送信するアドバイスデータを生成する処理であって、アドバイスDB124から該当するアドバイスを読出し、ユーザ装置5Aに送信する形式に生成する処理を含む。アドバイスデータは、ユーザ装置5Aから、ユーザAの動作に対するアドバイスを出力させるためのデータである。アドバイスの出力は、表示でも音声でもその組み合わせもよい。ユーザ装置5Aに送信する形式に生成する処理は、例えば、特定の表示画像を付加したり、特定の音声を付加したりする処理である。
 アドバイス生成処理62は、さらに、生成したアドバイスデータを、出力を指示する指示信号とともに通信装置13に渡し、ユーザ装置5Aに送信させることを含む。このため、ユーザ装置5Aからアドバイスが出力される。出力されるアドバイスは表示や音声やその組み合わせなどである。これにより、ユーザAは、ヘルスケアに関する動作を行いながら、その動作に対するアドバイスをユーザ装置5Aから得ることができる。その結果、ユーザAは、インストラクターであるユーザBから遠隔でアドバイスを得ながらヘルスケアに関する動作を行うことができる。
 購入処理63は、指導画像に含まれる商品等のうち、ユーザ装置5から指示された商品等を購入するための処理である。購入処理63は、ユーザ装置5から購入の指示を受け付けて、予め記憶している販売用の装置に対して購入に必要な情報を送信することを含む。
 プロセッサ11でレッスンモード処理116が実行され、プロセッサ51でレッスンモード処理514が実行されることによって、システム100は、図20に示された流れでレッスンモードが動作する。すなわち、図20を参照して、レッスンモードが開始すると、ユーザ装置5A,5Bともに、カメラ56による撮影が行われ(ステップS81-1,S81-2)、撮影データが処理装置1に送信される(ステップS83-1,S83-2)。
 ユーザ装置5Aのカメラ56で撮影される画像は、ユーザAによるヘルスケアに関する動作の撮影画像であって、動作中画像である。ユーザ装置5Bのカメラ56で撮影される画像は、ユーザBによるヘルスケアに関する動作の撮影画像であって、見本画像である。
 処理装置1のプロセッサ11は、これら撮影データを用いて表示処理61を実行する(ステップS84)。処理によって生成された表示データは、処理装置1からユーザ装置5に送信される(ステップS85-1,S85-2)。これにより、ユーザ装置5には画面が表示される(ステップS87-1,S87-2)。
 ステップS87-1では、例えば図21に示されるような画面591が表示される。図21は、ヘルスケアに関する動作としてフィットネス動作を行っている場合の、ユーザ装置5Aに表示される画面を表している。
 図21を参照して、画面591は、見本画像を表示する領域592と、動作中画像を表示する領域593と、を含む。この画面591を表示させる場合、プロセッサ11はステップS84にて、ステップS83-1で得た撮影データを領域593に配置し、ステップS83-2で得た撮影データを領域592に配置し、表示させる。これにより、ユーザAは、遠隔で見本画像を見ながらフィットネス動作を行うことができる。また、見本画像と自身の動作とを比較しながらフィットネス動作を行うことができる。なお、動作中の画像の表示は必ずしも行われなくてもよい。この場合、画面591には領域593は含まれない。
 ステップS87-2では、ユーザ装置5Bに、少なくともユーザ装置5Aからの撮影データに基づく動作中画像が表示される。これにより、ユーザBは、遠隔でユーザAのヘルスケアに関する動作を見ることができる。
 図20において、ステップS81-1~S87-2の処理は、レッスンモード中、繰り返される。これにより、ユーザAはリアルタイムに見本画像を見ることができるとともに、ユーザBはリアルタイムに動作中画像を見ることができる。
 なお、図20では、指導画像に含まれる見本画像がユーザ装置5Bのカメラ56によって撮影されたユーザBの動作の撮影画像であるものとしているが、見本画像はユーザBの撮影画像に限定されず、他の画像であってもよい。例えば、処理装置1のメモリ12に予め記憶されている画像であってもよい。その場合、図20のステップS81-2,S83-2の処理はスキップされる。
 ユーザ装置5Bのプロセッサ51は、ユーザBによるアドバイスの入力を受け付けると(ステップS89)、入力データを処理装置1に送信する(ステップS91)。処理装置1のプロセッサ11は、受信した入力データからアドバイスデータを生成し、アドバイスDB124に格納する(ステップS93)。
 処理装置1のプロセッサ11は、アドバイスDB124に格納されたアドバイスデータを特定のタイミングでユーザ装置5Aに送信し(ステップS95)、出力させる。特定のタイミングは、例えば、ステップS91でユーザ装置5Bから入力データを受信してすぐである。また、特定のタイミングは、ユーザBによって指定されたタイミングであってもよい。
 処理装置1からアドバイスデータを受信すると、ユーザ装置5Aからは、アドバイスデータに基づくアドバイスが出力される(ステップS97)。図21の例では、スピーカ55から音声によるアドバイス595が出力されている。これにより、ユーザAは、遠隔でアドバイスを得ながらヘルスケアに関する動作を行うことができる。
 指導画像に商品等の広告画像が含まれている場合、指導画像には、さらに、商品等の購入を受け付けるボタンが含まれていてもよい。図21の例の場合、購入サイトの表示を指示するボタン594が含まれている。この場合、ユーザ装置5Aのプロセッサ51は、購入を指示するユーザ操作を受け付けると(ステップS99)、操作に基づいた指示データを処理装置1に送信する(ステップS131)。
 ユーザ装置5Aから上記の指示データを受信すると、処理装置1のプロセッサ11は購入処理63を実行する(ステップS133)。これにより、処理装置1から商品等の購入用データが購入処理を行う装置に送信され(ステップS135)、購入処理が指示される。これにより、ユーザは、ヘルスケアに関する動作において希望する商品等を容易な操作によって購入することができる。
 なお、上の例では、指導画像やアドバイスがユーザ装置5Bで撮影された撮影画像やユーザ装置5Bに対してユーザBが入力したデータに基づくものであるとしている。他の例として、サポートDB125やアドバイスDB124に予め登録されているデータをプロセッサ11が自動的に選択し、ユーザ装置5Aに送信するものであってもよい。この場合、プロセッサ11の実行するレッスンモード処理116は、サポートDB125やアドバイスDB124から該当するデータを選択することを含む。
 データの選択は、例えば、ユーザAの特性に基づいて行われてもよい。この場合、サポートDB125やアドバイスDB124には、ユーザAの特性に関連付けてデータが登録されている。そして、プロセッサ11は、ユーザAの特性に基づいてデータを選択する。ユーザAの特性は、例えば、ユーザ装置5Aから受信したユーザAの撮影画像から特定されてもよいし、ユーザ装置5Aに対して入力を要求してもよい。また、他の装置から取得されてもよい。
 指導画像(見本画像)を見ながらフィットネス動作を行う場合を例にして詳しく説明する。ユーザAは、フィットネスの動作をする前にユーザの身体情報(例えば、脈拍、心拍、発汗量など)を取得することができる身体情報取得装置W(図23参照)を装着する。身体情報取得装置Wは、腕に装着可能なリストバンド型のウェアラブル機器であることが好ましい。なお、身体情報取得装置Wは、ユーザの身体情報を取得することができるものであれば、どのようなものであってもよい。
 身体情報取得装置Wは、通信機能(図示せず)を備えている。通信機能は、好ましくはBluetooth(登録商標)である。身体情報取得装置Wは、Bluetooth(登録商標)によりユーザ装置5の通信装置53と通信することができる。ユーザ装置5の通信装置53と通信することにより、身体情報取得装置Wで取得したユーザAの身体情報をユーザ装置5に送信することができる。なお、通信機能については一例であり、ユーザ装置5の通信装置53と通信できる形式であればどのようなものであってもよい。
 ユーザAは、身体情報取得装置Wを装着した状態で、ユーザ装置5Aのディスプレイ54に指導画像(インストラクターであるユーザBのフィットネスの動作)を通常の速度で表示する。ユーザAは、表示された指導画像に合わせて動作を開始する。動作することにより、ユーザAの心拍数は、動作前の状態と比べて徐々に速くなる。身体情報取得装置Wは、ユーザAの心拍数を経時的に取得している。そのため、ユーザAの心拍数がある一定の閾値を越えたことを検知すると、表示中の指導画像の動作の速度を変更するかどうかユーザAに対して報知する。また、表示中の指導画像の動作の速度を変更するかどうかユーザAに対して報知するのに同期して、ユーザAの身体情報(例えば、現在の心拍数など)に対する報知をするように構成してもよい。なお、一定の閾値については、ユーザAの性別や年代に応じて変更できるように構成されていることが好ましい。そうすることで、実際に使用するユーザAに適した状態を反映させることができる。
 報知方法は、スピーカ55から音声を出力する方法が好ましい。例えば、「心拍数が150を越えました。身体にかかる負荷が大きくなってきています。動作の速度を変更しますか?」というものである。なお、音声の内容は一例であり、ユーザAに報知することができる内容であれば、どのような内容であってもよい。また、ディスプレイ54上に文字として表示する方法であってもよい。例えば、「現在の心拍数:150。アドバイス:身体にかかる負荷が大きくなってきています。動作の速度を変更しますか?」というものである。なお、表示の内容は一例であり、ユーザAに報知することができる内容であれば、どのような内容であってもよい。また、スピーカ55による音声とディスプレイ54による表示を一緒に行ってもよい。
 ユーザAは、報知された内容に基づいて、指導画像の速度を変更するかどうか判断する。指導画像の速度を変更した方がよいと判断した場合、ユーザ装置5Aを操作し、指導画像の速度を変更(通常速度からゆっくり速度に変更)する。指導画像の速度を変更しなくてもよいと判断した場合、ユーザ装置5Aを操作せず、そのまま動作を続ける。
 ユーザ装置5Aは、ユーザAの操作により、指導画像の速度の変更命令を受け付けると、ユーザ装置5Aのメモリ52に記憶されている指導画像(通常速度、ゆっくり速度、速め速度)の中から、現在、ディスプレイ54上に表示している指導画像の種類を判断(例えば、通常速度)し、操作命令の内容(例えば、ゆっくり速度に変更命令)と照合し、メモリ52に記憶されている指導画像の中から操作命令に対応したゆっくり速度を呼び出し、ディスプレイ54上に表示する。なお、ユーザ装置5Aのメモリ52に指導画像が記憶されている場合について説明したが、処理装置1のメモリ12に指導画像が記憶されていてもよい。処理装置1のメモリ12に指導画像が記憶されている場合、ユーザAの操作により、指導画像の速度の変更命令を受け付けると、処理装置1のメモリ12に記憶されている指導画像(通常速度、ゆっくり速度、速め速度)の中から、現在、ディスプレイ54上に表示している指導画像の種類を判断(例えば、通常速度)し、操作命令の内容(例えば、ゆっくり速度に変更命令)と照合し、メモリ52に記憶されている指導画像の中から操作命令に対応したゆっくり速度を呼び出し、通信網2を介してユーザ装置5Aに送信し、ユーザ装置5Aのディスプレイ54上に表示する。
 また、ユーザAの心拍数がある一定の閾値を越えたことを検知すると、ユーザ装置5Aのディスプレイ54上に表示中の指導画像の速度を変更せず、ユーザAの心拍数がある一定の閾値を越えたこと報知するように構成してもよい。ユーザAは、報知された内容に基づいて、実行中のフィットネスの動作を継続するか中止するかを判断する。
 例えば、ある一定の閾値として、心拍数140を設定する。ユーザAは、ユーザ装置5Aのディスプレイ54上に表示された指導画像に合わせてフィットネスの動作を行う。ユーザAは、身体情報取得装置Wを装着している。そのため、ユーザ装置5Aは、フィットネスの動作を実行中のユーザAの心拍数が140を越えたことを検知すると、ディスプレイ54上に、「注意!心拍数が上昇しています。フィットネスの動作を継続しますか?中止しますか?」と表示する。ユーザAは、ユーザ自身のコンディションを考慮し、フィットネスの動作を継続するか、中止するか選択する。
 ユーザAが「中止」を選択した場合、ディスプレイ54上に表示されている指導画像が停止し、フィットネスの動作を終了する。なお、フィットネスの動作を終了する際、ディスプレイ54上に、「お疲れ様でした。明日も頑張りましょう!」といった表示をしてもよい。
 ユーザAが「継続」を選択した場合、ディスプレイ54上に表示中の報知内容が消え、指導画像が引き続き表示される。なお、所定時間経過後に、同じ報知内容をディスプレイ54上に再度表示するようにしてもよいし、異なる報知内容(例えば、「警告!心拍数が上昇した状態が続いています。フィットネスの動作を継続しますか?中止しますか?」)を表示するようにしてもよい。また、報知内容をディスプレイ54の端にワイプ状に表示し続けるようにしてもよい。なお、ある一定の閾値は、ユーザAの性別や年代に応じて変更可能である。
 また、ユーザAの心拍数がある一定の閾値に近づいたことを検知すると、ユーザ装置5Aのディスプレイ54上に表示中の指導画像を一時停止し、スピーカ55から音声によりユーザAに対して報知するようにしてもよい。例えば、ある一定の閾値として、心拍数140を設定する。ユーザAは、ユーザ装置5Aのディスプレイ54上に表示された指導画像に合わせてフィットネスの動作を行う。ユーザAは、身体情報取得装置Wを装着している。そのため、ユーザ装置5Aは、フィットネスの動作を実行中のユーザAの心拍数が140に近づいた(例えば、心拍数130)ことを検知すると、表示中の指導画像を一時停止し、ユーザAに対して、スピーカ55から、「負荷が強いようです。少し休憩しませんか。」と報知を行う。スピーカ55による報知終了後、ディスプレイ54上に「再開する/再開しない」と表示する。ユーザAは、ユーザ自身のコンディションを考慮し、フィットネスの動作を再開するか、再開しないか選択する。
 ユーザAが「再開しない」を選択した場合、一時停止中の指導画像が終了し、フィットネスの動作を終了する。なお、フィットネスの動作を終了する際、ディスプレイ54上に、「お疲れ様でした。明日も頑張りましょう!」といった表示をしてもよい。
 ユーザAが「再開する」を選択した場合、一時停止していた指導画像が再開し引き続き表示される。なお、所定時間経過後に、指導画像を一時停止し、同じ報知内容をスピーカ55から報知するようにしてもよい。なお、ある一定の閾値は、ユーザAの性別や年代に応じて変更可能である。
 本実施例においては、ユーザAがフィットネスの動作を再開するかどうかを選択する場合について説明したが、フィットネスの動作を再開するかどうかをユーザ装置5A又は処理装置1が自動的に判断するように構成してもよい。例えば、心拍数がある一定の閾値を下回ったことを検知すると、ユーザ装置5Aのディスプレイ54上に「休憩できましたか。フィットネスの動作を再開しましょう。まもなく一時停止していた指導画像を再生します。」と表示することでユーザAに対して報知を行い、その後、一時停止していた指導画像を再生する。なお、ディスプレイ54上への表示に同期してスピーカ55から、同じ内容を報知するように構成してもよい。
 そうすることで、ユーザAに対して、これからフィットネスの動作が再開することを報知させることができるため、ユーザAは、フィットネスの動作を再開するための準備を整えることができる。
 ヘルスケアに基づく動作がメイクや顔の美容マッサージである場合、ユーザAの特性は、例えば、顔の形である。この場合、一例として、プロセッサ11は、ユーザ装置5Aから受信したユーザAの撮影画像よりユーザAの顔の形を認識し、顔の形に対応付けてサポートDB125やアドバイスDB124に記憶されているデータの中から認識されたユーザAの顔の形に対応したデータを選択する。なお、顔の形は、ユーザAがユーザ装置5Aに入力し、処理装置1に送信されるデータに含まれてもよい。これにより、レッスンモードでは、ユーザAの顔の形に応じたメイクや顔の美容マッサージがユーザAに対して指導画像として表示されたり、アドバイスとして出力されたりする。その結果、ユーザAは、自身に適した指導を受けながらメイクや顔の美容マッサージを行うことができる。
 [第2の実施の形態]
 以上の例では、本システム100の制御は処理装置1のプロセッサ11によって行われ、ユーザ装置5は、処理装置1からの制御信号に従って各動作モードでの処理を行っている。他の例として、ユーザ装置5のプロセッサ51が処理装置1のプロセッサ11が実行するとされた処理の少なくとも一部を実行してもよい。または、ユーザ装置5のプロセッサ51がすべての処理を行うようにしてもよい。例えば、試着モードにおける表示処理112はプロセッサ51によって行われてもよい。この場合、プロセッサ51は処理装置1からモデル画像を取得し、試着画像を生成してディスプレイ54に表示させる、などを行ってもよい。これにより、処理装置1の構成を容易にすることができる。
 <3.付記>
 本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
1     :処理装置
2     :通信網
5     :ユーザ装置
5A    :ユーザ装置
5B    :ユーザ装置
6     :固定具
11    :プロセッサ
12    :メモリ
13    :通信装置
21    :選択処理
22    :抽出処理
23    :配置処理
24    :サイズ変更処理
25    :境界加工処理
31    :モデル画像
32    :ユーザ画像
41    :属性抽出処理
42    :第1提示処理
43    :算出処理
44    :テーブル選択処理
45    :第2提示処理
50    :制御装置
51    :プロセッサ
52    :メモリ
53    :通信装置
54    :ディスプレイ
55    :スピーカ
56    :カメラ
57    :マイク
58    :センサ
59    :入力装置
61    :表示処理
62    :アドバイス生成処理
63    :購入処理
81    :縦長画像用プログラム
81A   :縦長画像表示処理
81B   :横長画像表示処理
82    :横長画像用プログラム
100   :システム
111   :試着モード処理
112   :表示処理
113   :購入処理
114   :提案処理
115   :判定処理
116   :レッスンモード処理
117   :スタイリスト選択処理
118   :絵画モード処理
119   :TVモード処理
121   :モデル画像DB
122   :ユーザ画像DB
123   :パターンテーブル
124   :アドバイスDB
125   :サポートDB
126   :試着モードプログラム
127   :レッスンモードプログラム
128   :絵画モードプログラム
129   :TVモードプログラム
311   :表示領域
321   :表示領域
511   :試着モード処理
514   :レッスンモード処理
517   :絵画モード処理
518   :TVモード処理
519   :検出処理
521   :試着モードプログラム
522   :レッスンモードプログラム
523   :絵画モードプログラム
524   :TVモードプログラム
540   :画面
541   :領域
542   :領域
545   :選択用画面
547   :ボタン
548   :領域
549   :所定範囲
561   :提示画面
562   :領域
563   :領域
564   :ボタン
565   :ボタン
571   :提示画面
572   :領域
573   :領域
574   :ボタン
575   :ボタン
576   :領域
581   :提示画面
582   :領域
583   :領域
584   :ボタン
591   :画面
592   :領域
593   :領域
594   :ボタン
595   :アドバイス
596   :試着画面
597   :領域
598   :領域
BO    :境界線
C     :被写体
CA    :カメラ
L     :距離
P1    :パターン
P2    :パターン

Claims (21)

  1.  カメラと、
     コントローラと、を備え、
     前記コントローラは、いずれも前記カメラを用いる、複数の動作モードを実行可能であって、
     前記複数の動作モードは、
      前記カメラによるユーザの撮影画像を用いた服飾品の試着画像を表示する第1の動作モードと、
      指導画像を表示するとともに、前記カメラによるユーザの撮影画像に示されるユーザの動作に対するアドバイスを出力する第2の動作モードと、を含む
     ヘルスケアシステム。
  2.  前記第1の動作モードでは、前記撮影画像は、少なくとも一部が、服飾品を装着したモデル画像の少なくとも一部とともに表示されるために用いられ、
     前記第2の動作モードでは、前記撮影画像は、前記ユーザの動作を検出するために用いられる
     請求項1に記載のヘルスケアシステム。
  3.  前記第1の動作モードは、前記撮影画像の予め記憶している範囲である第1の領域と、前記モデル画像の予め記憶している範囲である第2の領域とを、予め設定された配置規則に応じて同一画面内に配置することを含む
     請求項2に記載のヘルスケアシステム。
  4.  異なる服飾品を装着した、複数のモデル画像を記憶する第1のメモリと、
     前記異なる服飾品の中から服飾品の選択結果の入力を受け付ける入力装置と、をさらに備え、
     前記第1の動作モードは、前記選択結果において選択された前記服飾品を装着したモデル画像を前記第1のメモリから抽出して前記試着画像を得ることを含む
     請求項3に記載のヘルスケアシステム。
  5.  前記第1のメモリは、同一の服飾品について、体形の異なる複数のモデル画像を記憶し、
     前記第1の動作モードは、前記体形の異なる前記複数のモデル画像の中から前記ユーザの体型に応じたモデル画像を抽出して前記試着画像を得ることを含む
     請求項4に記載のヘルスケアシステム。
  6.  前記第1のメモリは、同一の服飾品について、モデルを正面から撮影した第1のモデル画像と前記モデルを正面以外から撮影した第2のモデル画像とを記憶し、
     前記第1の動作モードは、前記第1のモデル画像から前記試着画像を得るとともに、前記試着画像と前記第2のモデル画像とを対応付けて表示することを含む
     請求項4又は5に記載のヘルスケアシステム。
  7.  前記第1のメモリに記憶されている前記モデル画像には、前記カメラからモデルまでの距離に応じた異なる属性が設定されており、
     前記第1の動作モードは、前記ユーザのサイズに応じた属性と前記モデル画像に設定されている前記属性との関係に基づいて前記第1の領域及び前記第2の領域の少なく一方のサイズを変更し、変更後の2つの領域を前記属性の関係に応じた配置規則に基づいて前記同一画面内に配置することを含む
     請求項4~6のいずれか一項に記載のヘルスケアシステム。
  8.  前記撮影画像と前記モデル画像との少なくとも一方は動画である
     請求項2~7のいずれか一項に記載のヘルスケアシステム。
  9.  前記第1の動作モードは、複数の服飾品の組み合わせのパターンに対する前記ユーザのユーザ特性のマッチング度合を、演算モデルを用いてパターンごとに算出し、算出された前記マッチング度合に基づいて1以上のパターンを提示することを含み、
     前記服飾品を装着したモデル画像は、前記1以上のパターンを装着したモデル画像である
     請求項2~8のいずれか一項に記載のヘルスケアシステム。
  10.  前記演算モデルは、前記パターンについて前記ユーザ特性ごとの前記マッチング度合を規定する情報を含む
     請求項9に記載のヘルスケアシステム。
  11.  前記マッチング度合を算出することは、複数パターンのうちの前記ユーザが選択したパターンについての前記マッチング度合を算出することを含む
     請求項9又は10に記載のヘルスケアシステム。
  12.  前記マッチング度合を算出することは、複数パターンそれぞれについての前記マッチング度合を算出することを含み、
     前記複数パターンそれぞれの前記マッチング度合に基づいて、前記複数パターンの中から前記ユーザに提案するパターンを少なくとも1つ選択する
     請求項9又は10に記載のヘルスケアシステム。
  13.  前記第1の動作モードは、前記試着画像に含まれる1以上の服飾品について購入の指示を受け付けると、指示された服飾品の購入処理を実行する装置に、前記指示された服飾品の購入処理に必要な情報を送信することを含む
     請求項1~12のいずれか一項に記載のヘルスケアシステム。
  14.  前記指導画像は指導者による前記動作の見本画像を含み、
     前記第2の動作モードは、
     前記指導画像の表示中の前記ユーザの動作を前記カメラによって撮影することと、
     前記見本画像を表示することと、を含む
     請求項1~13のいずれか一項に記載のヘルスケアシステム。
  15.  前記第2の動作モードは、前記カメラによって撮影された前記ユーザの撮影画像を表示することをさらに含む
     請求項14に記載のヘルスケアシステム。
  16.  前記アドバイスを入力する入力装置をさらに備える
     請求項1~15のいずれか一項に記載のヘルスケアシステム。
  17.  構造物に固定して用いられるディスプレイと、
     前記ディスプレイを用いる動作モードを実行可能なコントローラと、を備え、
     前記ディスプレイは、前記構造物への固定具に対して異なる向きに切替可能であり、
     前記コントローラは、前記動作モード実行時の前記ディスプレイの向きを検出し、検出結果に応じて前記動作モードの処理を異ならせる
     処理装置。
  18.  前記動作モードは、前記ディスプレイの異なる向きそれぞれに応じた複数の処理を含み、
     前記動作モードの処理を異ならせることは、前記コントローラが、検出された前記ディスプレイの向きに対応した前記処理を実行することを含む
     請求項17に記載の処理装置。
  19.  前記動作モードごとに実行に適した前記ディスプレイの向きが規定されており、
     前記動作モードの処理を異ならせることは、前記コントローラが、検出された前記ディスプレイの向きが実行する前記動作モードに適した向きでない場合に、前記適した向きである場合の前記動作モードの実行と異ならせることを含む
     請求項17又は18に記載の処理装置。
  20.  前記適した向きである場合の前記動作モードの実行と異ならせることは、前記ディスプレイの向きが前記動作モードに適した向きであることが検出されるまで、前記動作モードの開始を待機することを含む
     請求項19に記載の処理装置。
  21.  前記ディスプレイの向きを切り替える機構をさらに備え、
     前記適した向きである場合の前記動作モードの実行と異ならせることは、前記動作モードを実行するとともに、前記ディスプレイの向きを前記動作モードに適した向きとするように前記向きを切り替える機構を制御することを含む
     請求項19又は20に記載の処理装置。
PCT/JP2020/044527 2019-12-09 2020-11-30 ヘルスケアシステム及び処理装置 WO2021117533A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-222072 2019-12-09
JP2019222072 2019-12-09
JP2020-024005 2020-02-17
JP2020024005A JP2021093105A (ja) 2019-12-09 2020-02-17 ヘルスケアシステム及び処理装置

Publications (1)

Publication Number Publication Date
WO2021117533A1 true WO2021117533A1 (ja) 2021-06-17

Family

ID=76313205

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/044527 WO2021117533A1 (ja) 2019-12-09 2020-11-30 ヘルスケアシステム及び処理装置

Country Status (2)

Country Link
JP (1) JP2021093105A (ja)
WO (1) WO2021117533A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074038A (ja) * 2000-09-04 2002-03-12 Toshio Kawamura 商品獲得方法および商品獲得装置、並びにモデル決定方法およびモデル決定装置
JP2016001360A (ja) * 2014-06-11 2016-01-07 士華 管 試着画像表示方法
JP2016038810A (ja) * 2014-08-08 2016-03-22 株式会社東芝 仮想試着装置、仮想試着方法、およびプログラム
JP2017501518A (ja) * 2013-11-14 2017-01-12 モレス インク パーソナルケアを向上させる方法と装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074038A (ja) * 2000-09-04 2002-03-12 Toshio Kawamura 商品獲得方法および商品獲得装置、並びにモデル決定方法およびモデル決定装置
JP2017501518A (ja) * 2013-11-14 2017-01-12 モレス インク パーソナルケアを向上させる方法と装置
JP2016001360A (ja) * 2014-06-11 2016-01-07 士華 管 試着画像表示方法
JP2016038810A (ja) * 2014-08-08 2016-03-22 株式会社東芝 仮想試着装置、仮想試着方法、およびプログラム

Also Published As

Publication number Publication date
JP2021093105A (ja) 2021-06-17

Similar Documents

Publication Publication Date Title
JP7041763B2 (ja) ユーザの感情状態を用いて仮想画像生成システムを制御するための技術
US11244485B2 (en) Augmented reality systems and methods utilizing reflections
US10430985B2 (en) Augmented reality systems and methods utilizing reflections
US20220044311A1 (en) Method for enhancing a user's image while e-commerce shopping for the purpose of enhancing the item that is for sale
JP7160669B2 (ja) プログラム、情報処理装置、および方法
US20050190264A1 (en) Method of interactive system for previewing and selecting eyewear
KR102039402B1 (ko) 가상현실 광고 제공방법
WO2021075514A1 (ja) 制御システム及び制御方法
JP6470387B1 (ja) ヘッドマウントデバイスを介して情報を提供するためにコンピュータによって実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置
US20230152891A1 (en) Information processing device and information processing terminal
KR102381566B1 (ko) 패션 스타일링 시뮬레이션 장치 및 방법
WO2021117533A1 (ja) ヘルスケアシステム及び処理装置
US20230033892A1 (en) Information processing device and information processing terminal
US20230009322A1 (en) Information processing device, information processing terminal, and program
JP2019106192A (ja) ヘッドマウントデバイスを介して情報を提供するためにコンピュータによって実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置
WO2021079827A1 (ja) 演算装置及び演算方法
US11983324B2 (en) Information processing device, information processing terminal, and program
CA3239510A1 (en) Method and system to provide multisensory digital interaction experiences
CN113156650B (en) Augmented reality system and method using images
JP2021072080A (ja) 演算装置及び演算方法
JP2019139403A (ja) 試着装置、サーバ装置および試着システム
WO2020116130A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN116438801A (zh) 信息处理装置、信息处理方法、程序和信息处理系统
CN116457750A (zh) 信息处理装置、信息处理方法、程序和信息处理系统
CN116547641A (zh) 信息处理装置、信息处理方法、程序和信息处理系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20899807

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20899807

Country of ref document: EP

Kind code of ref document: A1