WO2023275959A1 - 画像重畳システム及び画像重畳方法 - Google Patents

画像重畳システム及び画像重畳方法 Download PDF

Info

Publication number
WO2023275959A1
WO2023275959A1 PCT/JP2021/024421 JP2021024421W WO2023275959A1 WO 2023275959 A1 WO2023275959 A1 WO 2023275959A1 JP 2021024421 W JP2021024421 W JP 2021024421W WO 2023275959 A1 WO2023275959 A1 WO 2023275959A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
face
superimposed
area
superimposed object
Prior art date
Application number
PCT/JP2021/024421
Other languages
English (en)
French (fr)
Inventor
昌和 浦田
聡 佐久間
裕 千明
龍也 松井
督史 鈴木
秀明 岩本
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2023531173A priority Critical patent/JPWO2023275959A1/ja
Priority to PCT/JP2021/024421 priority patent/WO2023275959A1/ja
Publication of WO2023275959A1 publication Critical patent/WO2023275959A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Definitions

  • the present disclosure relates to an image superimposing system and an image superimposing method.
  • Patent Document 1 a technique for separating an image of an object (the foreground in which the object is captured) from the background in an image captured by a camera.
  • Non-Patent Documents 1 and 2 AR (Augmented Reality) superimposition technology is known, in which another image is superimposed on an image of a subject captured by a camera, and a service called Henshin Kabuki using AR superimposition technology has been proposed.
  • the synthesizing device used in the Henshin Kabuki service acquires the face image from the image of the user, and recognizes the type of kumadori from the image of the kumadori mask. Then, the image synthesizing device superimposes the kumadori image representing the kumadori makeup recognized in the preparation stage on the face image in the captured image of the user and displays the image. At this time, the image synthesizing device causes the shading image to follow (track) changes in the position of the face image in the image.
  • the image synthesizing device can deform the kumadori image to be superimposed based on the change. For example, the synthesizing device transforms the kumadori image so that when a person opens his/her mouth, the part corresponding to the mouth opens. In addition, for example, when the person changes from facing the front to facing the camera to facing left, and the right cheek of the person turns to the camera, the image is observed from the right cheek side. The kumadori image in is superimposed.
  • the image synthesizing device displays the face of the user of the service as if the face of the user of the service were covered with kumadori makeup. Therefore, the user can easily experience kumadori makeup without actually applying kumadori to his/her own face.
  • the synthesizing device performs processing for recognizing a face image, a region for recognizing the type of kumadori, and a facial image for superimposing a superimposed image.
  • the image recognition area was the same. Therefore, if these areas are enlarged, the recognition accuracy of the facial image and the type of kumadori will decrease. Therefore, there is a problem that the superimposed image cannot be superimposed on the face image.
  • An object of the present disclosure which has been made in view of such circumstances, is to provide an image that can superimpose a superimposed image on the face image even if the user changes the position of the face while improving the recognition accuracy of the face image and the type of kumadori.
  • An object of the present invention is to provide a superimposing system and an image superimposing method.
  • an image superimposition system generates face area image information indicating a face area image obtained by trimming the face area in an image of a user captured by an imaging device in a first stage
  • a control device for generating superimposed object area image information indicating an superimposed object area image obtained by trimming the superimposed object area in the captured image obtained by capturing the superimposed object by the imaging device in the first stage, and included in the face area image, a face recognition device for recognizing a face image of the user and generating face image information indicating the face image; an overlapping object recognition device for recognizing a superimposed image corresponding to the superimposed object region image; from a composite area image, which is an image of a composite area larger than the face area and the superimposed object area, in the captured image captured by the imaging device in the second step after the above, based on the face image information and a synthesizing device for detecting a facial image of the user and generating synthetic image information indicating a synthetic image obtained by superimposing the superimposed image on
  • the image superimposing method generates face area image information indicating a face area image obtained by trimming the face area in the captured image of the user captured by the imaging device in the first step. generating superimposed object area image information representing an superimposed object area image obtained by trimming the superimposed object area in the captured image of the superimposed object captured by the imaging device in the first step; and the face area image.
  • the method includes a step of detecting the face image of the user, and a step of generating composite image information indicating a composite image in which the superimposed image is superimposed on the face image.
  • the image superimposition system and image superimposition method according to the present disclosure it is possible to superimpose the superimposed image on the face image even if the user changes the position of the face while improving the recognition accuracy of the face image and the type of kumadori. can.
  • FIG. 1 is a schematic diagram of an image superimposition system according to a first embodiment
  • FIG. FIG. 4 is a diagram showing a face area in a captured image
  • FIG. 4 is a diagram showing a superimposed object area in a captured image
  • 2C is a diagram showing another example of the mask shown in FIG. 2B
  • FIG. 2C is a diagram showing still another example of the mask shown in FIG. 2B
  • FIG. 2 is a diagram showing an example of information stored by an area information storage section shown in FIG. 1
  • FIG. FIG. 4 is a diagram showing a composite area in a captured image
  • 2 is a sequence diagram showing a part of an example of operations in the image superimposing system shown in FIG. 1;
  • FIG. 2 is a sequence diagram showing the remaining part of an example of the operation in the image superimposing system shown in FIG. 1;
  • FIG. 8 is a sequence diagram showing the remaining part of an example of the operation in the image superimposition system shown in FIG. 7;
  • FIG. 3 is a hardware block diagram of a controller and a synthesizer; FIG.
  • FIG. 1 is a schematic diagram of an image superimposition system 100 according to this embodiment.
  • the image superimposition system 100 includes an imaging device 1, a face recognition device 2, a superimposed object recognition device 3, a control device 4, a synthesizing device 5, and a display device. 6.
  • the control device 4 communicates with each of the imaging device 1, the face recognition device 2, the superimposed object recognition device 3, and the synthesizing device 5 via a communication network.
  • Synthesizing device 5 communicates with display device 6 via a communication network.
  • the imaging device 1 is configured by a camera having an optical device, an imaging device, a communication interface, and the like. Standards such as Ethernet (registered trademark), FDDI (Fiber Distributed Data Interface), and Wi-Fi (registered trademark) may be used for the communication interface.
  • Ethernet registered trademark
  • FDDI Fiber Distributed Data Interface
  • Wi-Fi registered trademark
  • the imaging device 1 In the preparation stage (first stage), the imaging device 1 generates captured image information indicating a captured image of the user of the image superimposition system 100 as shown in FIG. 2A.
  • the captured image here may be a still image.
  • a mechanism may be provided to adjust the position of the user's face in the real space so that the face image is included in the face region R1, which will be described later in detail.
  • the imaging device 1 images at least part of the user, including the user's face. At least part of the user may be the user's upper body, including the user's face. Also, at least part of the user may be the user's whole body including the user's face.
  • the imaging device 1 in the preparation stage, the imaging device 1 generates captured image information indicating a captured image of a superimposed object placed within a predetermined area.
  • the predetermined area may be, for example, the area between the face and the imaging device.
  • the captured image here may be a still image.
  • the imaging device 1 captures the superimposed object together with the user in a state in which the superimposed object is placed between the user's face and the imaging device 1. may be generated.
  • a mechanism may be provided to adjust the position of the superimposed object in the real space so that the image of the superimposed object is included in the superimposed object region R2, which will be described later in detail.
  • the superimposed object is an object in real space corresponding to an image superimposed on the image of the user's face imaged by the imaging device 1 by the synthesizing device 5 .
  • the superimposed object is a mask MK with kumadori makeup used in Kabuki.
  • the mask MK is not limited to the example shown in FIG. 2B, and may be a mask MK as shown in FIGS. 3A and 3B, or any other mask MK.
  • the imaging device 1 generates captured image information indicating a captured image of the user in the service provision stage (second stage) after the preparation stage.
  • the captured image here may be a moving image.
  • the user imaged by the imaging device 1 in the service provision stage is the user imaged by the imaging device 1 in the preparation stage.
  • the imaging device 1 transmits captured image information to the control device 4 via the communication network.
  • the face recognition device 2 shown in FIG. 1 is configured by a computer having a control section (controller), a communication interface, and the like.
  • the control unit may be configured by dedicated hardware such as ASIC (Application Specific Integrated Circuit) or FPGA (Field-Programmable Gate Array), may be configured by a processor, or may be configured by including both. good too.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the face recognition device 2 receives face area image information transmitted from the control device 4, which will be described later in detail. Then, the face recognition device 2 recognizes the user's face image included in the face area image indicated by the face area image information, and generates face image information indicating the face image. Any method may be used by the face recognition device 2 to recognize the face image. The face recognition device 2 also transmits face image information to the control device 4 .
  • the superimposed object recognition device 3 includes a communication section 31 , a superimposed image information storage section 32 and a recognition section 33 .
  • the communication unit 31 is configured by a communication interface that transmits and receives information to and from the outside.
  • the superimposed image information storage unit 32 includes memories such as HDD (Hard Disk Drive), SSD (Solid State Drive), EEPROM (Electrically Erasable Programmable Read-Only Memory), ROM (Read-Only Memory), and RAM (Random Access Memory). Consists of The recognition unit 33 constitutes a control unit.
  • the communication unit 31 receives superimposed object area image information transmitted from the control device 4, which will be described later in detail.
  • the communication unit 13 also transmits a superimposed image ID (identification) (superimposed image identifier), which will be described later in detail, to the control device 4 .
  • the superimposed image information storage unit 32 associates and stores the superimposed image and the superimposed image ID.
  • the superimposed image is an image that is superimposed on the captured image of the user captured by the imaging device 1 at the service provision stage.
  • the superimposed image ID is an identifier for identifying the superimposed image. As described above, in the example where the superimposed object is the mask MK with kumadori makeup used in Kabuki, the superimposed image is the image of the makeup portion of the mask MK with kumadori makeup.
  • the recognition unit 33 recognizes a superimposed image corresponding to the superimposed object area image indicated by the superimposed object area image information. At this time, the recognition unit 33 may recognize a superimposed image corresponding to the superimposed object area image indicated by the superimposed object area image information from among the superimposed images stored in the superimposed image information storage unit 32 . Then, the recognition unit 33 extracts the superimposed image ID stored in the superimposed image information storage unit 32 corresponding to the recognized superimposed image. The recognition unit 33 also controls the communication unit 31 to transmit the superimposed image ID to the control device 4 .
  • the control device 4 includes a communication section 41 , an area information storage section 42 , a superimposed image information storage section 43 , a trimming section 44 and a scenario control section 45 .
  • the communication unit 41 is configured by a communication interface.
  • the area information storage unit 42 and the superimposed image information storage unit 43 are configured by memories.
  • the trimming unit 44 and scenario control unit 45 constitute a control unit.
  • the communication unit 41 receives captured image information from the imaging device 1 .
  • the communication unit 41 also receives face image information from the face recognition device 2 .
  • the communication unit 41 also receives the superimposed image ID from the superimposed object recognition device 3 .
  • the communication unit 41 transmits information to the synthesizing device 5 under the control of the scenario control unit 45 .
  • an area ID (area identifier) for identifying an area in a captured image and information indicating the range of the area are stored in association with each other.
  • the regions include a face region R1, a superimposed object region R2, and a composite region R3, and each region is a predetermined region.
  • the face region R1 is a region in the imaged image of the user captured in the preparation stage and is expected to contain the face image of the user.
  • the superimposed object region R2 is a region within the captured image in which the superimposed object is captured in the preparation stage and is expected to contain the image of the superimposed object.
  • the composite region R3 is a region within the captured image captured by the user at the service provision stage, and is expected to include the face image even if the user changes the position of the face. It is an area where The composite region R3 is larger than the face region R1 and the overlay region R2.
  • the composite region R3 can be, for example, a region containing a whole-body image showing the whole body of the user.
  • the information indicating the range of the area is the starting point coordinates and the X size and Y size.
  • the face region R1 is identified by region ID “1” and is defined by a rectangle having length LX1 in the X-axis direction and length LY1 in the Y-axis direction from the starting point coordinates (X1, Y1). It is the enclosed area.
  • the superimposed object region R2 is identified by the region ID “2” and is surrounded by a rectangle having a length LX2 in the X-axis direction and a length LY2 in the Y-axis direction from the starting point coordinates (X2, Y2). area.
  • the overlapping area is identified by the area ID "3" and is surrounded by a rectangle having a length LX3 in the X-axis direction and a length LY3 in the Y-axis direction from the starting point coordinates (X3, Y3).
  • the superimposed image information storage unit 43 associates and stores the superimposed image and the superimposed image ID.
  • the trimming unit 44 generates face area image information indicating a face area image obtained by trimming the face area R1 in the captured image of the user captured by the imaging device 1 in the preparation stage. Specifically, the trimming unit 44 may acquire face area information indicating the face area R1 in the captured image from the area information storage unit 42 . In the example shown in FIG. 4, the trimming unit 44 acquires the face area information indicated by the start point coordinates corresponding to the area ID "1" stored in the area information storage unit 42 and the X size and Y size. Then, the trimming unit 44 extracts the face region R1 indicated by the face region information in the captured image, and generates face region image information indicating the image of the face region R1.
  • the trimming unit 44 generates superimposed object area image information representing an superimposed object area image obtained by trimming the superimposed object area R2 in the captured image of the superimposed object captured by the imaging device 1 in the preparation stage.
  • the trimming unit 44 may acquire superimposed object region information indicating the superimposed object region R2 in the captured image from the region information storage unit 42 .
  • the trimming unit 44 acquires the starting point coordinates corresponding to the area ID "2" stored in the area information storage unit 42, and the superimposed object area information indicated by the X size and the Y size. Then, the trimming unit 44 extracts the superimposed object region R2 indicated by the superimposed object region information in the captured image, and generates superimposed object region image information indicating the image of the superimposed object region.
  • the trimming unit 44 controls the communication unit 41 to transmit the face area image information to the face recognition device 2.
  • the trimming unit 44 also controls the communication unit 41 to transmit the superimposed object area image information to the superimposed object recognition device 3 .
  • the scenario control unit 45 extracts the superimposed image information stored in the superimposed image information storage unit 43 in correspondence with the superimposed image ID recognized by the superimposed object recognition device 3 .
  • the scenario control unit 45 also extracts the composite region information indicating the composite region R3 corresponding to the region ID “3” stored in the region information storage unit 42 .
  • the compositing area information is the starting point coordinates (X3, Y3), the X size "LX3", and the Y size "LY3".
  • the scenario control unit 45 causes the communication unit 41 to transmit the facial image information, the superimposed image information, the combining area information, and the captured image information generated by the imaging device 1 in the service providing stage to the combining device 5. Control.
  • the synthesis device 5 includes a communication section 51 , a face image detection section 52 and a superimposition section 53 .
  • the communication unit 51 is configured by a communication interface.
  • the face image detection section 52 and the superimposition section 53 constitute a control section.
  • the communication unit 51 receives face image information, superimposed image information, composite area information, and captured image information generated by the imaging device 1 in the service providing stage from the control device 4 .
  • the communication unit 51 also transmits composite image information, which will be described later in detail, to the display device 6 .
  • the face image detection unit 52 converts face image information from a composite region image, which is an image of a composite region R3 larger than the face region R1 and the superimposed object region R2, in the captured image of the user captured by the imaging device 1 at the service provision stage. Based on this, the user's face image is detected.
  • the superimposition unit 53 generates composite image information indicating a composite image in which the superimposed image is superimposed on the face image. Specifically, the superimposing unit 53 superimposes the superimposed image indicated by the superimposed image information on the face image detected by the face image detecting unit 52 in the captured image indicated by the captured image information. Then, the superimposing unit 53 generates composite image information indicating a composite image in which the superimposed image is superimposed on the face image.
  • the superimposing unit 53 may extract feature parameters from the face image detected from the composite area image.
  • a feature parameter is a parameter indicating a feature of a face image, such as a direction in which the face is facing, a facial expression, or the like.
  • the superimposing unit 53 may generate composite image information indicating a composite image obtained by superimposing the superimposed images according to the feature parameter. For example, when the feature parameter indicates that the left side of the face faces the imaging surface of the imaging device 1, the superimposing section 53 may superimpose a superimposed image corresponding to the left side of the face.
  • the superimposing unit 53 changes the superimposed image to be superimposed on the face image according to the change in the feature parameter of the face image in each of the plurality of still images forming the moving image. good too.
  • the superimposing unit 53 controls the communication unit 51 to transmit the composite image information to the display device 6 .
  • the display device 6 is configured by a device having a display interface, a communication interface, and the like.
  • the display interface may be configured by an organic EL (Electro Luminescence), a liquid crystal panel, or the like.
  • the display device 6 receives the composite image information transmitted from the synthesizing device 5 . Then, the display device 6 displays the composite image indicated by the composite image information.
  • FIGS. 6A and 6B are sequence diagrams showing an example of the operation of the image superimposition system 100 according to this embodiment.
  • the operation of the image superimposition system 100 described with reference to FIGS. 6A and 6B corresponds to an example of the image superimposition method of the image superimposition system 100 according to the first embodiment.
  • the image superimposition system 100 executes preparatory processing in steps S11 to S19, which are preparatory stages.
  • step S11 the imaging device 1 generates captured image information indicating a captured image of the user.
  • step S ⁇ b>12 the imaging device 1 transmits the captured image information to the control device 4 .
  • step S13 the trimming unit 44 of the control device 4 acquires face area information indicating the face area R1 in the captured image from the area information storage unit 42.
  • step S14 the trimming unit 44 of the control device 4 uses the captured image information transmitted in step S12 to trim the face region R1 in the captured image of the user captured by the imaging device 1. Generate area image information.
  • step S ⁇ b>15 the trimming unit 44 of the control device 4 controls the communication unit 41 to transmit the face area image information to the face recognition device 2 . Thereby, the communication unit 41 transmits the face area image information to the face recognition device 2 .
  • step S16 the face recognition device 2 recognizes the face image included in the image indicated by the face area image information, and generates face image information indicating the face image.
  • step S17 the face recognition device 2 transmits face image information to the control device 4.
  • step S18 the imaging device 1 generates captured image information indicating a captured image of the superimposed object.
  • the imaging device 1 may generate captured image information indicating a captured image of the superimposed object together with the user in a state where the superimposed object is placed between the user's face and the imaging device 1. .
  • step S19 the imaging device 1 transmits the captured image information to the control device 4.
  • step S20 the trimming unit 44 of the control device 4 acquires superimposed object region information indicating the superimposed object region R2 in the captured image from the region information storage unit 42.
  • step S21 the trimming unit 44 of the control device 4 uses the captured image information transmitted in step 19 to generate a superimposed object region image obtained by trimming the superimposed object region R2 in the captured image of the superimposed object captured by the imaging device 1. Generate superimposed object area image information shown.
  • step S ⁇ b>22 the trimming unit 44 of the control device 4 controls the communication unit 41 to transmit the superimposed object region image information to the superimposed object recognition device 3 .
  • the communication unit 41 transmits the superimposed object region image information to the superimposed object recognition device 3 .
  • step S23 the recognition unit 33 of the superimposed object recognition device 3 recognizes the superimposed image corresponding to the superimposed object area image indicated by the superimposed object area image information.
  • the recognition unit 33 may recognize a superimposed image corresponding to the superimposed object area image indicated by the superimposed object area image information from among the superimposed images stored in the superimposed image information storage unit 32 .
  • step S24 the recognition unit 33 of the superimposed object recognition device 3 extracts the superimposed image ID stored in the superimposed image information storage unit 32 corresponding to the recognized superimposed image.
  • step S25 the recognition unit 33 of the superimposed object recognition device 3 controls the communication unit 31 to transmit the superimposed image ID to the control device 4. Thereby, the communication unit 31 transmits the tatami image ID to the control device 4 .
  • the image superimposition system 100 executes service provision processing in steps S26 to S31, which are service provision stages.
  • step S26 the imaging device 1 generates captured image information indicating a captured image of the user.
  • step S27 the imaging device 1 transmits the captured image information to the control device 4.
  • step S28 the scenario control unit 45 of the control device 4 detects the superimposed image stored in the superimposed image information storage unit 43 in correspondence with the superimposed image ID recognized by the superimposed object recognition device 3. Extract image information.
  • step S29 the scenario control unit 45 of the control device 4 acquires the combining area information indicating the combining area R3 in the captured image from the area information storage unit 42.
  • step S30 the scenario control unit 45 of the control device 4 transmits the face image information, the superimposed image information, the combining area information, and the captured image information generated by the imaging device 1 in the service providing stage to the synthesizing device 5.
  • the communication unit 41 is controlled to do so. Thereby, the communication unit 41 transmits the face image information, the superimposed image information, the combining area information, and the captured image information generated by the imaging device 1 in the service providing stage to the combining device 5 .
  • step S31 the face image detection unit 52 of the synthesizing device 5 uses the captured image information to obtain an image of a synthesizing region R3 larger than the face region R1 in the captured image of the user captured by the imaging device 1 in the service provision stage.
  • a user's face image is detected from a certain combined area image based on face image information.
  • step S32 the superimposing unit 53 of the synthesizing device 5 generates synthesized image information indicating an image in which the superimposed image is superimposed on the face image.
  • step S ⁇ b>33 the superimposing unit 53 of the synthesizing device 5 controls the communication unit 51 to transmit the synthesized image information to the display device 6 . Thereby, the communication unit 51 transmits the composite image information to the display device 6 .
  • step S34 the display device 6 displays the composite image indicated by the composite image information.
  • the image superimposition system 100 in the preparation stage, the image superimposition system 100 generates a face area image representing a face area image obtained by trimming the face area R1 in the captured image of the user captured by the imaging device 1. Information is generated, and in the preparation stage, superimposed object area image information indicating an superimposed object area image obtained by trimming the superimposed object area R2 in the captured image of the superimposed object by the imaging device 1 is generated. Then, the image superimposition system 100 recognizes the face image of the user included in the face area image, generates face image information indicating the face image, recognizes the superimposed image corresponding to the superimposed object area image, and recognizes the superimposed image. A superimposed image ID for identifying the is extracted.
  • the image superimposition system 100 provides a composite region image, which is an image of a composite region R3 larger than the face region R1 and the superimposed object region R2, in the captured image of the user captured by the imaging device 1 in the service provision stage after the preparation stage. Then, the face image of the user is recognized based on the face image information, and composite image information indicating a composite image in which the superimposed image identified by the superimposed image ID is superimposed on the face image is generated. Therefore, the image superimposition system 100 can superimpose a superimposed image by tracking the user's face image in a wide range in the captured image while improving the recognition accuracy of the face image and the type of kumadori. In particular, when the superimposed object is makeup by kumadori in Kabuki, there are many types of kumadori in addition to the partial examples shown in FIGS. , it is useful to improve the recognition accuracy.
  • the image superimposition system 100 includes the imaging device 1 in the above-described first embodiment, this is not the only option.
  • the image superimposing system 100 may not include the imaging device 1 and may acquire a captured image from an external imaging device.
  • the communication unit 41 of the control device 4 transmits the superimposed image information to the synthesizing device 5, but this is not the only option.
  • the communication unit 41 may transmit the superimposed image ID to the synthesizing device 5 , and the synthesizing device 5 may extract the superimposed image corresponding to the superimposed image ID from the storage unit of the synthesizing device 5 .
  • the image superimposition system 100 includes the display device 6, but this is not the only option.
  • the image superimposition system 100 may transmit the captured image to an external display device without the display device 6, or may transmit the captured image to another external device.
  • the superimposing unit 53 of the synthesizing device 5 extracts the feature parameters from the face image, but this is not the only option.
  • the recognition unit 33 of the face recognition device 2 may recognize a face image and extract feature parameters from the face image. In such a configuration the feature parameters are sent to the synthesizer 5 .
  • any two or more devices included in the image superimposing system 100 may be integrated.
  • the exchange of information between the functional units included in two or more integrated devices may be performed without using the communication unit.
  • FIG. 7 is a schematic diagram of an image superimposition system 101 according to the second embodiment.
  • functional units that are the same as those in the first embodiment are denoted by the same reference numerals, and descriptions thereof are omitted.
  • the image superimposition system 101 includes an imaging device 1, a face recognition device 2, a superimposed object recognition device 3, a control device 4-1, a synthesizing device 5, and a display device 6 .
  • the control device 4-1 communicates with each of the imaging device 1, the face recognition device 2, the superimposed object recognition device 3, and the synthesizing device 5 via a communication network.
  • the control device 4-1 includes a communication unit 41, an area information storage unit 42-1, a superimposed image information storage unit 43, a trimming unit 44, a scenario control unit 45, and an area determination unit .
  • the area information storage unit 42-1 is configured by a memory.
  • the area determination unit 46 constitutes a control unit.
  • the region determination unit 46 determines the superimposed object region R2 in the captured image based on the position of the face image recognized by the face recognition device 2 in the captured image. For example, the area determination unit 46 may determine an area within a first predetermined length from the center of the face image recognized by the face recognition device 2 as the superimposed object area R2. For example, the area determination unit 46 determines an area obtained by adding an area within a second predetermined length from the periphery of the face image to the area of the face image recognized by the face recognition device 2 as the superimposed object area R2. good too. Further, for example, the region determination unit 46 may determine a region within a rectangle of a predetermined size with the center of the face image recognized by the face recognition device 2 as the superimposed object region R2.
  • an area ID for identifying an area in the captured image and information indicating the range of the area are associated with each other.
  • the regions include a face region R1, a superimposed object region R2, and a synthetic region R3.
  • the face region R1 and the synthesis region R3 in the second embodiment are predetermined regions, respectively, similarly to the face region R1 and the synthesis region R3 in the first embodiment.
  • the superimposed object region R2 in the second embodiment is not a predetermined region but the superimposed object region R2 determined by the region determining unit 46, unlike the superimposed object region R2 in the first embodiment. Note that the determined superimposed object region R2 may be indicated by the start coordinates and the X size and Y size, as in the first embodiment.
  • the trimming unit 44 shows a superimposed object region image obtained by trimming the superimposed object region R2 in the captured image of the superimposed object captured by the imaging device in the preparation stage. Generate superimposed object area image information.
  • the area determination unit 46 and the area information storage unit 42 are configured as described above, so that the trimming unit 44 trims the superimposed object area determined by the area determination unit 46 in the captured image.
  • the superimposed object area image information representing the superimposed object area image obtained by trimming R2 is generated.
  • FIGS. 8A and 8B are flowcharts showing an example of the operation of the image superimposing system 101 according to this embodiment.
  • the operation of the image superimposition system 101 described with reference to FIGS. 8A and 8B corresponds to an example of the image superimposition method of the image superimposition system 101 according to the second embodiment.
  • the image superimposition system 101 executes processing from step S41 to step S47.
  • the processing from step S41 to step S47 is the same as the processing from step S11 to step S17 in the first embodiment.
  • step S48 the area determining unit 46 determines the superimposed object area R2 based on the face image.
  • step S49 the area information storage unit 42-1 stores the superimposed object area R2 determined in step S48. Specifically, the region information storage unit 42-1 associates the superimposed object ID for identifying the superimposed object region R2 with the start coordinates and the X coordinates indicating the superimposed object region R2 determined in step S48. Store size and Y size.
  • step S50 the image superimposition system 101 executes the processes from step S50 to step S66.
  • the processing from step S50 to step S66 is the same as the processing from step S18 to step S34 in the first embodiment.
  • step S52 the trimming unit 44 generates the superimposed object area image information indicating the superimposed object area image obtained by trimming the superimposed object area R2 determined by the area determining unit 46 in the captured image. .
  • the image superimposing system 101 determines the superimposed object region R2 based on the face image included in the face region image, and trims the superimposed object region R2 in the captured image. Then, superimposed object area image information indicating the superimposed object area image is generated. Therefore, the image superimposing system 101 can determine the superimposed object region R2 as the superimposed object region R2, which is highly likely to contain the image of the superimposed object in the captured image. Therefore, the image superimposing system 101 can appropriately recognize the superimposed image, and accordingly can superimpose an appropriate superimposed image on the face image. For example, if the user is an adult, a child, or a wheelchair user, the face region R1 must be set wide. Since the position and size of R2 can be limited, the superimposed image can be appropriately recognized, and the superimposed image can be appropriately superimposed on the face image.
  • FIG. 9 is a block diagram showing a schematic configuration of a computer 102 functioning as the control devices 4, 4-1 and synthesizing device 5, respectively.
  • the computer 102 may be a general-purpose computer, a dedicated computer, a workstation, a PC (Personal Computer), an electronic notepad, or the like.
  • Program instructions may be program code, code segments, etc. for performing the required tasks.
  • the computer 102 includes a processor 110, a ROM (Read Only Memory) 120, a RAM (Random Access Memory) 130, a storage 140, an input section 150, a display section 160, and a communication interface ( I/F) 170.
  • the processor 110 is specifically a CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), DSP (Digital Signal Processor), SoC (System on a Chip), etc. may be configured by a plurality of processors of
  • the processor 110 controls each component and executes various arithmetic processes. That is, processor 110 reads a program from ROM 120 or storage 140 and executes the program using RAM 130 as a work area. The processor 110 performs control of each configuration and various arithmetic processing according to programs stored in the ROM 120 or the storage 140 . In this embodiment, the ROM 120 or storage 140 stores a program according to the present disclosure.
  • the program may be stored in a storage medium readable by the computer 102. By using such a storage medium, it is possible to install the program in the computer 102 .
  • the storage medium storing the program may be a non-transitory storage medium.
  • the non-temporary storage medium is not particularly limited, but may be, for example, a CD-ROM, a DVD-ROM, a USB (Universal Serial Bus) memory, or the like.
  • this program may be downloaded from an external device via a network.
  • the ROM 120 stores various programs and various data.
  • RAM 130 temporarily stores programs or data as a work area.
  • the storage 140 is configured by a HDD (Hard Disk Drive) or SSD (Solid State Drive) and stores various programs including an operating system and various data.
  • the input unit 150 includes one or more input interfaces that receive user's input operations and acquire information based on the user's operations.
  • the input unit 150 is a pointing device, keyboard, mouse, etc., but is not limited to these.
  • the display unit 160 includes one or more output interfaces that output information.
  • the display unit 160 is a display that outputs information as video or a speaker that outputs information as audio, but is not limited to these.
  • the display unit 160 also functions as the input unit 150 when it is a touch panel type display.
  • a communication interface (I/F) 170 is an interface for communicating with an external device.
  • an imaging device In a first step, an imaging device generates face region image information indicating a face region image obtained by trimming a face region in a captured image of a user, and in the first step, the imaging device captures an image of a superimposed object.
  • the face is extracted from a composite region image, which is an image of a composite region larger than the face region and the superimposed object region, in the captured image of the user captured by the imaging device.
  • An image superimposition system for recognizing a face image of the user based on image information and generating composite image information indicating a composite image in which the superimposition image identified by the superimposition image identifier is superimposed on the face image.
  • (Appendix 3) a step of generating face area image information indicating a face area image obtained by trimming the face area in the captured image of the user captured by the imaging device in the first stage;
  • the imaging device generates superimposed object area image information representing an superimposed object area image obtained by trimming the superimposed object area in the captured image of the superimposed object;
  • the face is extracted from a composite region image, which is an image of a composite region larger than the face region and the superimposed object region, in the captured image of the user captured by the imaging device.
  • An image superimposition method including: (Appendix 4) determining the overlap region based on the face image included in the face region image; 4.
  • the step of generating the superimposed object area image information includes the step of generating the superimposed object area image information representing the superimposed object area image obtained by trimming the superimposed object area in the captured image. Superposition method.
  • Imaging device 2 face recognition device 3 superimposed object recognition device 4, 4-1 control device 5 synthesis device 6 display device 31 communication unit 32 superimposed image information storage unit 33 recognition unit 41 communication unit 42, 42-1 area information storage unit 43 Superimposed image information storage unit 44 Trimming unit 45 Scenario control unit 46 Area determination unit 51 Communication unit 52 Face image detection unit 53 Superimposition unit 100, 101 Image superimposition system 102 Computer 110 Processor 120 ROM 130 RAM 140 storage 150 input unit 160 output unit 170 communication interface 180 bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本開示に係る画像重畳システム（１００）は、撮像画像における顔領域（Ｒ１）をトリミングした顔領域画像を示す顔領域画像情報を生成し、撮像画像における重畳物領域（Ｒ２）をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成する制御装置（４）と、顔画像を認識し、該顔画像を示す顔画像情報を生成する顔認識装置（２）と、重畳物領域画像に相当する重畳画像を認識する重畳物認識装置（３）と、撮像画像における、顔領域（Ｒ１）及び重畳物領域（Ｒ２）より大きい合成領域（Ｒ３）の画像である合成領域画像から、利用者の顔画像を検出し、該顔画像に重畳画像を重畳した合成画像を示す合成画像情報を生成する合成装置（５）と、を備える。

Description

画像重畳システム及び画像重畳方法
　本開示は、画像重畳システム及び画像重畳方法に関する。
　従来、カメラが被写体を撮像した画像から物体の像（物体が写った前景）を背景から分離する技術が知られている（特許文献１）。
　また、カメラが被写体を撮像した画像に他の画像を重畳して表示させるＡＲ（Augmented Reality）重畳の技術が知られており、ＡＲ重畳の技術を用いた変身歌舞伎というサービスが提案されている（非特許文献１及び２）。
　変身歌舞伎のサービスで用いられる合成装置は、利用者を撮像した画像から顔画像を取得し、隈取のお面を撮像した画像から隈取の種類を認識する。そして、画像合成装置は、利用者を撮像した画像内の顔画像に、準備段階で認識された隈取による化粧を示す隈取画像を重畳して表示させる。このとき、画像合成装置は、画像内における顔画像の位置の変動に隈取画像を追従（トラッキング）させる。
　また、画像合成装置は、カメラによって撮像されている人物の表情が変化することによって、顔の像が変化すると、該変化に基づいて、重畳させる隈取画像を変形させることもできる。例えば、合成装置は、人物が口を開けると、口に相当する部分が開くように隈取画像を変形する。また、例えば、合成装置は、人物がカメラに対して正面を向いている状態から左を向く状態に変化して、人物の右頬がカメラの方向を向くと、右頬側から観察された状態での隈取画像を重畳する。
　このようにして、画像合成装置は、サービスの利用者の顔にあたかも隈取による化粧が施されているかのように、該利用者の顔を表示する。このため、利用者は、実際に自身の顔に隈取を施すことなく、容易に、隈取による化粧を体験することができる。
特開２０２０－１７１３６号公報
薄井、外３名、「歌舞伎×ICTのコラボレーション」、NTT技術ジャーナル、2018年11月号２６頁、［online］、［令和３年６月１０日検索］、インターネット<URL：https://journal.ntt.co.jp/article/3992> "米国ラスベガスで好評を博したインタラクティブ展示「変身歌舞伎」を日本でも公開～東京江戸ウィークで本邦初公開～|ニュースリリース|NTT"、［online］、［令和３年６月１０日検索］、インターネット<URL：https://group.ntt/jp/newsrelease/2016/09/20/160920a.html>
　上述した従来技術では、撮像画像において、合成装置が顔画像を認識するために処理を実行する領域と、隈取の種類を認識するために処理を実行する領域と、重畳画像を重畳させるために顔画像を認識する領域とが同じであった。そのため、これらの領域を大きくすると、顔画像及び隈取の種類の認識精度が低下し、これらの領域を小さくすると、利用者が顔の位置を変更したときに顔画像が該領域外に位置し、このため顔画像に重畳画像を重畳することができないという課題があった。
　かかる事情に鑑みてなされた本開示の目的は、顔画像及び隈取の種類の認識精度を向上させつつ、利用者が顔の位置を変更しても顔画像に重畳画像を重畳させることができる画像重畳システム及び画像重畳方法を提供することにある。
　上記課題を解決するため、本開示に係る画像重畳システムは、第１の段階において撮像装置が利用者を撮像した撮像画像における顔領域をトリミングした顔領域画像を示す顔領域画像情報を生成し、前記第１の段階において前記撮像装置が重畳物を撮像した撮像画像における重畳物領域をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成する制御装置と、前記顔領域画像に含まれる、前記利用者の顔画像を認識し、該顔画像を示す顔画像情報を生成する顔認識装置と、前記重畳物領域画像に相当する重畳画像を認識する重畳物認識装置と、前記第１の段階の後の第２の段階において前記撮像装置が前記利用者を撮像した撮像画像における、前記顔領域及び前記重畳物領域より大きい合成領域の画像である合成領域画像から、前記顔画像情報に基づいて、前記利用者の顔画像を検出し、該顔画像に、前記重畳画像を重畳した合成画像を示す合成画像情報を生成する合成装置と、を備える。
　また、上記課題を解決するため、本開示に係る画像重畳方法は、第１の段階において撮像装置が利用者を撮像した撮像画像における顔領域をトリミングした顔領域画像を示す顔領域画像情報を生成するステップと、前記第１の段階において、前記撮像装置が重畳物を撮像した撮像画像における重畳物領域をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成するステップと、前記顔領域画像に含まれる、前記利用者の顔画像を認識し、該顔画像を示す顔画像情報を生成するステップと、前記重畳物領域画像に相当する重畳画像を認識するステップと、前記第１の段階の後の第２の段階において前記撮像装置が前記利用者を撮像した撮像画像における、前記顔領域及び前記重畳物領域より大きい合成領域の画像である合成領域画像から、前記顔画像情報に基づいて、前記利用者の顔画像を検出するステップと、該顔画像に、前記重畳画像を重畳した合成画像を示す合成画像情報を生成するステップと、を含む。
　本開示に係る画像重畳システム及び画像重畳方法によれば、顔画像及び隈取の種類の認識精度を向上させつつ、利用者が顔の位置を変更しても顔画像に重畳画像を重畳させることができる。
第１の実施形態に係る画像重畳システムの概略図である。 撮像画像における顔領域を示す図である。 撮像画像における重畳物領域を示す図である。 図２Ｂに示すマスクの他の例を示す図である。 図２Ｂに示すマスクのさらなる他の例を示す図である。 図１に示す領域情報記憶部によって記憶されている情報の一例を示す図である。 撮像画像における合成領域を示す図である。 図１に示す画像重畳システムにおける動作の一例の一部を示すシーケンス図である。 図１に示す画像重畳システムにおける動作の一例の残り一部を示すシーケンス図である。 第２の実施形態に係る画像重畳システムの概略図である。 図７に示す画像重畳システムにおける動作の一例の一部を示すシーケンス図である。 図７に示す画像重畳システムにおける動作の一例の残り一部を示すシーケンス図である。 制御装置及び合成装置のハードウェアブロック図である。
　＜＜第１の実施形態＞＞
　図１を参照して第１の実施形態の全体構成について説明する。図１は、本実施形態に係る画像重畳システム１００の概略図である。
　図１に示すように、第１の実施形態に係る画像重畳システム１００は、撮像装置１と、顔認識装置２と、重畳物認識装置３と、制御装置４と、合成装置５と、表示装置６とを備える。制御装置４は、撮像装置１、顔認識装置２、重畳物認識装置３、及び合成装置５それぞれと通信ネットワークを介して通信する。合成装置５は、表示装置６と通信ネットワークを介して通信する。
　＜撮像装置の構成＞
　撮像装置１は、光学素子、撮像素子、通信インターフェース等を有するカメラによって構成される。通信インターフェースには、例えば、イーサネット（登録商標）、ＦＤＤＩ（Fiber Distributed Data Interface）、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられてもよい。
　撮像装置１は、準備段階（第１の段階）において、図２Ａに示すような、画像重畳システム１００の利用者を撮像した撮像画像を示す撮像画像情報を生成する。ここでの撮像画像は、静止画像であってよい。このとき、顔画像が、追って詳細に説明する顔領域Ｒ１に含まれるように、実空間において利用者の顔の位置を調整する仕組みが設けられていてもよい。具体的には、撮像装置１は、利用者の顔を含む、該利用者の少なくとも一部を撮像する。利用者の少なくとも一部は、利用者の顔を含む、利用者の上半身であってもよい。また、利用者の少なくとも一部は、利用者の顔を含む、利用者の全身であってもよい。
　また、撮像装置１は、準備段階において、所定の領域内に配置された重畳物を撮像した撮像画像を示す撮像画像情報を生成する。所定の領域は、例えば、顔と撮像装置との間の領域であってよい。また、ここでの撮像画像は、静止画像であってよい。例えば、撮像装置１は、図２Ｂに示すように、利用者の顔と撮像装置１との間に重畳物が配置された状態で、利用者とともに重畳物を撮像した撮像画像を示す撮像画像情報を生成してもよい。このとき、重畳物の画像が、追って詳細に説明する重畳物領域Ｒ２に含まれるように、実空間において、重畳物の位置を調整するような仕組みが設けられていてもよい。重畳物は、合成装置５が、撮像装置１によって撮像された利用者の顔の像に重畳する画像に対応する、実空間における物体である。図２Ｂに示す例では、重畳物は、歌舞伎で用いられる隈取による化粧を施したお面（マスク）ＭＫである。お面ＭＫは、図２Ｂに示す例に限られず、図３Ａ及び図３Ｂに示すようなお面ＭＫであってもよいし、その他の任意のお面ＭＫであってよい。
　また、撮像装置１は、準備段階後のサービス提供段階（第２の段階）において、利用者を撮像した撮像画像を示す撮像画像情報を生成する。ここでの撮像画像は、動画像であってよい。サービス提供段階において、撮像装置１が撮像する利用者は、準備段階において撮像装置１によって撮像された利用者である。
　さらに、撮像装置１は、通信ネットワークを介して、撮像画像情報を制御装置４に送信する。
　＜顔認識装置の構成＞
　図１に示す顔認識装置２は、制御部（コントローラ）、通信インターフェース等を有するコンピュータによって構成される。制御部は、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)等の専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。
　顔認識装置２は、制御装置４から送信された、追って詳細に説明する顔領域画像情報を受信する。そして、顔認識装置２は、顔領域画像情報が示す顔領域画像に含まれる利用者の顔画像を認識し、顔画像を示す顔画像情報を生成する。顔認識装置２が顔画像を認識する手法は、任意の手法であってよい。また、顔認識装置２は、顔画像情報を制御装置４に送信する。
　＜重畳物認識装置の構成＞
　図１に示すように、重畳物認識装置３は、通信部３１と、重畳画像情報記憶部３２と、認識部３３とを備える。通信部３１は、外部と情報を送受信する通信インターフェースによって構成される。重畳画像情報記憶部３２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、ＲＯＭ（Read-Only Memory）およびＲＡＭ（Random Access Memory）等のメモリによって構成される。認識部３３は、制御部を構成する。
　通信部３１は、制御装置４から送信された、追って詳細に説明する重畳物領域画像情報を受信する。また、通信部１３は、追って詳細に説明する重畳画像ＩＤ（Identification）（重畳画像識別子）を制御装置４に送信する。
　重畳画像情報記憶部３２は、重畳画像と、重畳画像ＩＤとを対応付けて記憶している。重畳画像は、サービス提供段階において、撮像装置１が利用者を撮像した撮像画像に重畳させる画像である。重畳画像ＩＤは、該重畳画像を識別するための識別子である。上述したように、重畳物が歌舞伎で用いられる隈取による化粧を施したお面ＭＫである例において、重畳画像は、隈取による化粧を施したお面ＭＫにおける化粧部分の画像である。
　認識部３３は、重畳物領域画像情報が示す重畳物領域画像に相当する重畳画像を認識する。このとき、認識部３３は、重畳画像情報記憶部３２に記憶されている重畳画像のなかから、重畳物領域画像情報が示す重畳物領域画像に相当する重畳画像を認識してもよい。そして、認識部３３は、認識された重畳画像に対応して、重畳画像情報記憶部３２に記憶されている重畳画像ＩＤを抽出する。また、認識部３３は、重畳画像ＩＤを制御装置４に送信するよう通信部３１を制御する。
　＜制御装置の構成＞
　制御装置４は、通信部４１と、領域情報記憶部４２と、重畳画像情報記憶部４３と、トリミング部４４と、シナリオ制御部４５とを備える。通信部４１は、通信インターフェースによって構成される。領域情報記憶部４２及び重畳画像情報記憶部４３は、メモリによって構成される。トリミング部４４及びシナリオ制御部４５は、制御部を構成する。
　通信部４１は、撮像装置１から、撮像画像情報を受信する。また、通信部４１は、顔認識装置２から、顔画像情報を受信する。また、通信部４１は、重畳物認識装置３から、重畳画像ＩＤを受信する。また、通信部４１は、シナリオ制御部４５の制御に基づいて、合成装置５に情報を送信する。
　領域情報記憶部４２には、図４に示すように、撮像画像内の領域を識別するための領域ＩＤ（領域識別子）と、領域の範囲を示す情報とが、対応付けて記憶されている。領域には、顔領域Ｒ１、重畳物領域Ｒ２、及び合成領域Ｒ３が含まれ、各領域は予め定められた領域である。顔領域Ｒ１は、図２Ａに示すように、準備段階において利用者が撮像された撮像画像内の領域であって、利用者の顔画像が含まれていると見込まれる領域である。重畳物領域Ｒ２は、図２Ｂに示すように、準備段階において重畳物が撮像された撮像画像内の領域であって、重畳物の画像が含まれていると見込まれる領域である。合成領域Ｒ３は、図５に示すように、サービス提供段階において利用者が撮像された撮像画像内の領域であって、利用者が顔の位置を変更しても、顔画像が含まれると見込まれる領域である。合成領域Ｒ３は、顔領域Ｒ１及び重畳物領域Ｒ２より大きい。合成領域Ｒ３は、例えば、利用者の全身を示す全身画像を含む領域とすることができる。
　図４に示す例では、領域の範囲を示す情報は、始点座標、並びにＸサイズ及びＹサイズである。具体的には、顔領域Ｒ１は、領域ＩＤ「１」によって識別され、始点座標(Ｘ１,Ｙ１)から、Ｘ軸方向に長さＬＸ１を有し、Ｙ軸方向に長さＬＹ１を有する矩形によって囲まれる領域である。また、重畳物領域Ｒ２は、領域ＩＤ「２」によって識別され、始点座標(Ｘ２,Ｙ２)から、Ｘ軸方向に長さＬＸ２を有し、Ｙ軸方向に長さＬＹ２を有する矩形によって囲まれる領域である。重畳領域は、領域ＩＤ「３」によって識別され、始点座標(Ｘ３,Ｙ３)から、Ｘ軸方向に長さＬＸ３を有し、Ｙ軸方向に長さＬＹ３を有する矩形によって囲まれる領域である。
　重畳画像情報記憶部４３は、重畳物認識装置３の重畳画像情報記憶部３２と同様に、重畳画像と、重畳画像ＩＤとを対応付けて記憶している。
　トリミング部４４は、準備段階において撮像装置１が利用者を撮像した撮像画像における顔領域Ｒ１をトリミングした顔領域画像を示す顔領域画像情報を生成する。具体的には、トリミング部４４は、領域情報記憶部４２から、撮像画像内における顔領域Ｒ１を示す顔領域情報を取得してもよい。図４に示す例では、トリミング部４４は、領域情報記憶部４２に記憶されている領域ＩＤ「１」に対応する始点座標、並びにＸサイズ及びＹサイズによって示される顔領域情報を取得する。そして、トリミング部４４は、撮像画像における、顔領域情報で示される顔領域Ｒ１を抽出し、顔領域Ｒ１の画像を示す顔領域画像情報を生成する。
　また、トリミング部４４は、準備段階において撮像装置１が重畳物を撮像した撮像画像における重畳物領域Ｒ２をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成する。具体的には、トリミング部４４は、領域情報記憶部４２から、撮像画像内における重畳物領域Ｒ２を示す重畳物領域情報を取得してもよい。図４に示す例では、トリミング部４４は、領域情報記憶部４２に記憶されている領域ＩＤ「２」に対応する始点座標、並びにＸサイズ及びＹサイズによって示される重畳物領域情報を取得する。そして、トリミング部４４は、撮像画像における、重畳物領域情報で示される重畳物領域Ｒ２を抽出し、該重畳物領域の画像を示す重畳物領域画像情報を生成する。
　トリミング部４４は、顔領域画像情報を顔認識装置２に送信するよう通信部４１を制御する。また、トリミング部４４は、重畳物領域画像情報を重畳物認識装置３に送信するよう通信部４１を制御する。
　シナリオ制御部４５は、重畳物認識装置３によって認識された重畳画像ＩＤに対応して、重畳画像情報記憶部４３に記憶されている重畳画像情報を抽出する。また、シナリオ制御部４５は、領域情報記憶部４２に記憶されている領域ＩＤ「３」に対応する、合成領域Ｒ３を示す合成領域情報を抽出する。図５に示す例では、合成領域情報は、始点座標(Ｘ３,Ｙ３)、並びにＸサイズ「ＬＸ３」及びＹサイズ「ＬＹ３」である。
　そして、シナリオ制御部４５は、顔画像情報と、重畳画像情報と、合成領域情報と、サービス提供段階において撮像装置１によって生成された撮像画像情報とを合成装置５に送信するよう通信部４１を制御する。
　＜合成装置の構成＞
　図１に示すように、合成装置５は、通信部５１と、顔画像検出部５２と、重畳部５３とを備える。通信部５１は、通信インターフェースによって構成される。顔画像検出部５２及び重畳部５３は、制御部を構成する。
　通信部５１は、制御装置４から、顔画像情報と、重畳画像情報と、合成領域情報と、サービス提供段階において撮像装置１によって生成された撮像画像情報とを受信する。また、通信部５１は、追って詳細に説明する合成画像情報を表示装置６に送信する。
　顔画像検出部５２は、サービス提供段階において撮像装置１が利用者を撮像した撮像画像における、顔領域Ｒ１及び重畳物領域Ｒ２より大きい合成領域Ｒ３の画像である合成領域画像から、顔画像情報に基づいて、利用者の顔画像を検出する。
　重畳部５３は、顔画像に、重畳画像を重畳した合成画像を示す合成画像情報を生成する。具体的には、重畳部５３は、撮像画像情報が示す撮像画像における、顔画像検出部５２によって検出された顔画像に、重畳画像情報が示す重畳画像を重畳する。そして、重畳部５３は、顔画像に重畳画像を重畳した合成画像を示す合成画像情報を生成する。
　また、重畳部５３は、合成領域画像から検出された顔画像から特徴パラメータを抽出してもよい。特徴パラメータは顔画像の特徴を示すパラメータであって、例えば、顔が向いている方向、顔の表情等を示すパラメータである。このような構成において、重畳部５３は、特徴パラメータに応じて、重畳画像を重畳した合成画像を示す合成画像情報を生成してもよい。例えば、重畳部５３は、特徴パラメータが、顔の左側が撮像装置１の撮像面に対向していることを示す場合、顔の左側に対応する重畳画像を重畳させてもよい。さらに、撮像画像が動画像である構成において、重畳部５３は、動画像を構成する複数の静止画像それぞれにおける顔画像の特徴パラメータの変化に応じて、顔画像に重畳させる重畳画像が変化させてもよい。
　また、重畳部５３は、合成画像情報を表示装置６に送信するよう通信部５１を制御する。
　＜表示装置の構成＞
　表示装置６は、表示インターフェース、通信インターフェース等を有する装置によって構成される。表示インターフェースは、有機ＥＬ（Electro Luminescence）、液晶パネル等によって構成されてよい。
　表示装置６は、合成装置５から送信された合成画像情報を受信する。そして、表示装置６は、合成画像情報が示す合成画像を表示する。
　＜画像重畳システムの動作＞
　ここで、第１の実施形態に係る画像重畳システム１００の動作について、図６Ａ及び図６Ｂを参照して説明する。図６Ａ及び図６Ｂは、本実施形態に係る画像重畳システム１００の動作の一例を示すシーケンス図である。図６Ａ及び図６Ｂを参照して説明する画像重畳システム１００における動作は第１の実施形態に係る画像重畳システム１００の画像重畳方法の一例に相当する。
　図６Ａに示すように、まず、画像重畳システム１００は、準備段階であるステップＳ１１～Ｓ１９において、準備処理を実行する。
　ステップＳ１１において、撮像装置１が、利用者を撮像した撮像画像を示す撮像画像情報を生成する。
　ステップＳ１２において、撮像装置１が、撮像画像情報を制御装置４に送信する。
　ステップＳ１３において、制御装置４のトリミング部４４は、領域情報記憶部４２から、撮像画像内における顔領域Ｒ１を示す顔領域情報を取得する。
　ステップＳ１４において、制御装置４のトリミング部４４が、ステップＳ１２で送信された撮像画像情報を用いて、撮像装置１が利用者を撮像した撮像画像における顔領域Ｒ１をトリミングした顔領域画像を示す顔領域画像情報を生成する。
　ステップＳ１５において、制御装置４のトリミング部４４が、顔領域画像情報を顔認識装置２に送信するよう通信部４１を制御する。これにより、通信部４１が、顔領域画像情報を顔認識装置２に送信する。
　ステップＳ１６において、顔認識装置２が、顔領域画像情報が示す画像に含まれる顔画像を認識し、該顔画像を示す顔画像情報を生成する。
　ステップＳ１７において、顔認識装置２が、顔画像情報を制御装置４に送信する。
　ステップＳ１８において、撮像装置１が、重畳物を撮像した撮像画像を示す撮像画像情報を生成する。このとき、撮像装置１が、利用者の顔と撮像装置１との間に重畳物が配置された状態で、利用者とともに重畳物を撮像した撮像画像を示す撮像画像情報を生成してもよい。
　ステップＳ１９において、撮像装置１が、撮像画像情報を制御装置４に送信する。
　ステップＳ２０において、制御装置４のトリミング部４４が、領域情報記憶部４２から、撮像画像内における重畳物領域Ｒ２を示す重畳物領域情報を取得する。
　ステップＳ２１において、制御装置４のトリミング部４４が、ステップ１９において送信された撮像画像情報を用いて、撮像装置１が重畳物を撮像した撮像画像における重畳物領域Ｒ２をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成する。
　ステップＳ２２において、制御装置４のトリミング部４４が、重畳物領域画像情報を重畳物認識装置３に送信するよう通信部４１を制御する。これにより、通信部４１が、重畳物領域画像情報を重畳物認識装置３に送信する。
　ステップＳ２３において、重畳物認識装置３の認識部３３が、重畳物領域画像情報が示す重畳物領域画像に相当する重畳画像を認識する。認識部３３が、重畳画像情報記憶部３２に記憶されている重畳画像のなかから、重畳物領域画像情報が示す重畳物領域画像に相当する重畳画像を認識してもよい。
　ステップＳ２４において、重畳物認識装置３の認識部３３が、認識された重畳画像に対応して、重畳画像情報記憶部３２に記憶されている重畳画像ＩＤを抽出する。
　ステップＳ２５において、重畳物認識装置３の認識部３３が、重畳画像ＩＤを制御装置４に送信するよう通信部３１を制御する。これにより、通信部３１は、畳画像ＩＤを制御装置４に送信する。
　上記のようなステップＳ１１～Ｓ２５までの準備段階の後に、画像重畳システム１００は、サービス提供段階であるステップＳ２６～Ｓ３１において、サービス提供処理を実行する。
　ステップＳ２６において、撮像装置１が、利用者を撮像した撮像画像を示す撮像画像情報を生成する。
　ステップＳ２７において、撮像装置１が、撮像画像情報を制御装置４に送信する。
　図６Ｂに示すように、ステップＳ２８において、制御装置４のシナリオ制御部４５が、重畳物認識装置３によって認識された重畳画像ＩＤに対応して、重畳画像情報記憶部４３に記憶されている重畳画像情報を抽出する。
　ステップＳ２９において、制御装置４のシナリオ制御部４５が、領域情報記憶部４２から、撮像画像内における合成領域Ｒ３を示す合成領域情報を取得する。
　ステップＳ３０において、制御装置４のシナリオ制御部４５が、顔画像情報と、重畳画像情報と、合成領域情報と、サービス提供段階において撮像装置１によって生成された撮像画像情報とを合成装置５に送信するよう通信部４１を制御する。これにより、通信部４１は、顔画像情報と、重畳画像情報と、合成領域情報と、サービス提供段階において撮像装置１によって生成された撮像画像情報とを合成装置５に送信する。
　ステップＳ３１において、合成装置５の顔画像検出部５２が、撮像画像情報を用いて、サービス提供段階において撮像装置１が利用者を撮像した撮像画像における、顔領域Ｒ１より大きい合成領域Ｒ３の画像である合成領域画像から、顔画像情報に基づいて、利用者の顔画像を検出する。
　ステップＳ３２において、合成装置５の重畳部５３が、顔画像に、重畳画像を重畳した画像を示す合成画像情報を生成する。
　ステップＳ３３において、合成装置５の重畳部５３が、合成画像情報を表示装置６に送信するよう通信部５１を制御する。これにより、通信部５１が、合成画像情報を表示装置６に送信する。
　ステップＳ３４において、表示装置６が、合成画像情報が示す合成画像を表示する。
　上述したように、第１の実施形態によれば、画像重畳システム１００は、準備段階において、撮像装置１が利用者を撮像した撮像画像における顔領域Ｒ１をトリミングした顔領域画像を示す顔領域画像情報を生成し、準備段階において、撮像装置１が重畳物を撮像した撮像画像における重畳物領域Ｒ２をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成する。そして、画像重畳システム１００は、顔領域画像に含まれる利用者の顔画像を認識し、該顔画像を示す顔画像情報を生成し、重畳物領域画像に相当する重畳画像を認識し、重畳画像を識別するための重畳画像ＩＤを抽出する。さらに、画像重畳システム１００は、準備段階の後のサービス提供段階において撮像装置１が利用者を撮像した撮像画像における、顔領域Ｒ１及び重畳物領域Ｒ２より大きい合成領域Ｒ３の画像である合成領域画像から、顔画像情報に基づいて、利用者の顔画像を認識し、該顔画像に、重畳画像ＩＤによって識別される重畳画像を重畳した合成画像を示す合成画像情報を生成する。このため、画像重畳システム１００は、顔画像及び隈取の種類の認識精度を向上させつつ、撮像画像内の広い範囲で利用者の顔画像をトラッキングして重畳画像を重畳させることができる。特に、重畳物が歌舞伎における隈取による化粧である場合、図２Ｂ、図３Ａ、及び図３Ｂに一部の例を示したほかに、隈取の種類の数は多く、その差異が微細であるため、認識精度を向上させることは有用である。
　なお、上述した第１の実施形態において、画像重畳システム１００は、撮像装置１を備えるが、この限りではない。例えば、画像重畳システム１００は、撮像装置１を備えず、外部の撮像装置から撮像画像を取得してもよい。
　また、上述した第１の実施形態において、制御装置４の通信部４１が重畳画像情報を合成装置５に送信するが、この限りではない。例えば、通信部４１は、重畳画像ＩＤを合成装置５に送信し、合成装置５が重畳画像ＩＤに対応した重畳画像を該合成装置５が有する記憶部から抽出してもよい。
　また、上述した第１の実施形態において、画像重畳システム１００は、表示装置６を備えるが、この限りではない。例えば、画像重畳システム１００は、表示装置６を備えず、外部の表示装置に撮像画像を送信してもよいし、外部の他の装置に撮像画像を送信してもよい。
　また、上述した第１の実施形態において、合成装置５の重畳部５３が顔画像から特徴パラメータを抽出するが、この限りではない。例えば、顔認識装置２の認識部３３が顔画像を認識するとともに、該顔画像から特徴パラメータを抽出してもよい。このような構成において、特徴パラメータは、合成装置５に送信される。
　また、上述した第１の実施形態において、画像重畳システム１００が備えるいずれか２つ以上の装置が一体として構成されてもよい。このような構成において、一体として構成された２つ以上の装置に含まれる機能部間での情報の授受は、通信部を介さずに実行されてもよい。
　＜＜第２の実施形態＞＞
　図７を参照して第２の実施形態の全体構成について説明する。図７は、第２の実施形態に係る画像重畳システム１０１の概略図である。第２の実施形態において、第１の実施形態と同一の機能部については同じ符号を付し、説明を省略する。
　図７に示すように、第２の実施形態に係る画像重畳システム１０１は、撮像装置１と、顔認識装置２と、重畳物認識装置３と、制御装置４－１と、合成装置５と、表示装置６とを備える。制御装置４－１は、撮像装置１、顔認識装置２、重畳物認識装置３、及び合成装置５それぞれと通信ネットワークを介して通信する。
　＜制御装置の構成＞
　制御装置４－１は、通信部４１と、領域情報記憶部４２－１と、重畳画像情報記憶部４３と、トリミング部４４と、シナリオ制御部４５と、領域決定部４６とを備える。領域情報記憶部４２－１は、メモリによって構成される。領域決定部４６は、制御部を構成する。
　領域決定部４６は、顔認識装置２によって認識された顔画像の、撮像画像内における位置に基づいて、撮像画像における重畳物領域Ｒ２を決定する。例えば、領域決定部４６は、顔認識装置２によって認識された顔画像の中心から第１所定長さ以内となる領域を重畳物領域Ｒ２と決定してもよい。例えば、領域決定部４６は、顔認識装置２によって認識された顔画像の領域に、該顔画像の周辺から第２所定長さ以内となる領域を加えた領域を重畳物領域Ｒ２と決定してもよい。また、例えば、領域決定部４６は、顔認識装置２によって認識された顔画像の中心を重心とする所定の大きさの矩形内の領域を重畳物領域Ｒ２と決定してもよい。
　領域情報記憶部４２－１には、第１の実施形態の領域情報記憶部４２と同様に、撮像画像内の領域を識別するための領域ＩＤと、領域の範囲を示す情報とが対応付けて記憶されている。第１の実施形態と同様に、領域には、顔領域Ｒ１と、重畳物領域Ｒ２と、合成領域Ｒ３とが含まれる。第２の実施形態における顔領域Ｒ１及び合成領域Ｒ３は、それぞれ第１の実施形態における顔領域Ｒ１及び合成領域Ｒ３と同様に予め定められた領域である。第２の実施形態における重畳物領域Ｒ２は、第１の実施形態における重畳物領域Ｒ２とは異なり、予め定められた領域ではなく、領域決定部４６によって決定された重畳物領域Ｒ２である。なお、決定された重畳物領域Ｒ２は、第１の実施形態と同様に、開始座標、並びにＸサイズ及びＹサイズによって示されてもよい。
　第２の実施形態において、トリミング部４４は、第１の実施形態で説明したように、準備段階において撮像装置が重畳物を撮像した撮像画像における重畳物領域Ｒ２をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成する。第２の実施形態においては、領域決定部４６及び領域情報記憶部４２が上述したように構成されていることにより、トリミング部４４は、撮像画像における、領域決定部４６によって決定された重畳物領域Ｒ２をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成することになる。
　＜画像重畳システムの動作＞
　ここで、第２の実施形態に係る画像重畳システム１０１の動作について、図８Ａ及び図８Ｂを参照して説明する。図８Ａ及び図８Ｂは、本実施形態に係る画像重畳システム１０１の動作の一例を示すフローチャートである。図８Ａ及び図８Ｂを参照して説明する画像重畳システム１０１における動作は第２の実施形態に係る画像重畳システム１０１の画像重畳方法の一例に相当する。
　図８Ａに示すように、画像重畳システム１０１は、ステップＳ４１からステップＳ４７までの処理を実行する。ステップＳ４１からステップＳ４７までの処理は、第１の実施形態におけるステップＳ１１からステップＳ１７までの処理と同じである。
　ステップＳ４８において、領域決定部４６は、顔画像に基づいて重畳物領域Ｒ２を決定する。
　ステップＳ４９において、領域情報記憶部４２－１は、ステップＳ４８で決定された重畳物領域Ｒ２を記憶する。具体的には、領域情報記憶部４２－１は、重畳物領域Ｒ２を識別するための重畳物ＩＤに対応付けて、ステップＳ４８で決定された、重畳物領域Ｒ２を示す、開始座標、並びにＸサイズ及びＹサイズを記憶する。
　続いて、図８Ａ及び図８Ｂに示すように、画像重畳システム１０１は、ステップＳ５０からステップＳ６６までの処理を実行する。ステップＳ５０からステップＳ６６までの処理は、第１の実施形態におけるステップＳ１８からステップＳ３４までの処理と同じである。なお、これにより、ステップＳ５２では、トリミング部４４は、撮像画像における、領域決定部４６によって決定された重畳物領域Ｒ２をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成することになる。
　上述したように、第２の実施形態によれば、画像重畳システム１０１は、顔領域画像に含まれる顔画像に基づいて、重畳物領域Ｒ２を決定し、撮像画像における該重畳物領域Ｒ２をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成する。このため、画像重畳システム１０１は、撮像画像における重畳物の像が位置している可能性の高い領域を重畳物領域Ｒ２と決定することができる。したがって、画像重畳システム１０１は、重畳画像を適切に認識することができ、これに伴い、顔画像に適切な重畳画像を重畳させることができる。例えば、利用者が、大人、子供、車椅子の利用者等である場合は顔領域Ｒ１を広く設定せざるを得ないが、画像重畳システム１０１は、顔画像の認識結果を利用して重畳物領域Ｒ２の位置及びサイズを限定できるため、重畳画像を適切に認識し、顔画像に重畳画像を適切に重畳することができる。
　＜プログラム＞
　上述した制御装置４、４－１、及び合成装置５はコンピュータ１０２によって実現することができる。また、制御装置４、４－１、及び合成装置５として機能させるためのプログラムが提供されてもよい。また、該プログラムは、格納媒体に格納されてもよいし、ネットワークを通して提供されてもよい。図９は、制御装置４、４－１、及び合成装置５としてそれぞれ機能するコンピュータ１０２の概略構成を示すブロック図である。ここで、コンピュータ１０２は、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
　図９に示すように、コンピュータ１０２は、プロセッサ１１０と、ＲＯＭ（Read Only Memory）１２０と、ＲＡＭ（Random Access Memory）１３０と、ストレージ１４０と、入力部１５０と、表示部１６０と、通信インターフェース（Ｉ／Ｆ）１７０とを備える。各構成は、バス１８０を介して相互に通信可能に接続されている。プロセッサ１１０は、具体的にはＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。
　プロセッサ１１０は、各構成の制御、及び各種の演算処理を実行する。すなわち、プロセッサ１１０は、ＲＯＭ１２０又はストレージ１４０からプログラムを読み出し、ＲＡＭ１３０を作業領域としてプログラムを実行する。プロセッサ１１０は、ＲＯＭ１２０又はストレージ１４０に格納されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２０又はストレージ１４０に、本開示に係るプログラムが格納されている。
　プログラムは、コンピュータ１０２が読み取り可能な格納媒体に格納されていてもよい。このような格納媒体を用いれば、プログラムをコンピュータ１０２にインストールすることが可能である。ここで、プログラムが格納された格納媒体は、非一時的（non-transitory）格納媒体であってもよい。非一時的格納媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　ＲＯＭ１２０は、各種プログラム及び各種データを格納する。ＲＡＭ１３０は、作業領域として一時的にプログラム又はデータを格納する。ストレージ１４０は、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム及び各種データを格納する。
　入力部１５０は、ユーザの入力操作を受け付けて、ユーザの操作に基づく情報を取得する１つ以上の入力インターフェースを含む。例えば、入力部１５０は、ポインティングデバイス、キーボード、マウスなどであるが、これらに限定されない。
　表示部１６０は、情報を出力する１つ以上の出力インターフェースを含む。例えば、表示部１６０は、情報を映像で出力するディスプレイ、又は情報を音声で出力するスピーカであるが、これらに限定されない。なお、表示部１６０は、タッチパネル方式のディスプレイである場合には、入力部１５０としても機能する。
　通信インターフェース（Ｉ／Ｆ）１７０は、外部の装置と通信するためのインターフェースである。
　以上の実施形態に関し、更に以下の付記を開示する。
　（付記項１）
　制御部を備え、
　前記制御部は、
　　第１の段階において撮像装置が利用者を撮像した撮像画像における顔領域をトリミングした顔領域画像を示す顔領域画像情報を生成し、前記第１の段階において前記撮像装置が重畳物を撮像した撮像画像における重畳物領域をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成し、
　　前記顔領域画像に含まれる、前記利用者の顔画像を認識し、該顔画像を示す顔画像情報を生成し、
　　前記重畳物領域画像に相当する重畳画像を認識し、
　　前記第１の段階の後の第２の段階において前記撮像装置が前記利用者を撮像した撮像画像における、前記顔領域及び前記重畳物領域より大きい合成領域の画像である合成領域画像から、前記顔画像情報に基づいて、前記利用者の顔画像を認識し、該顔画像に、前記重畳画像識別子によって識別される前記重畳画像を重畳した合成画像を示す合成画像情報を生成する画像重畳システム。
　（付記項２）
　前記制御部は、前記顔画像に基づいて、前記重畳物領域を決定し、前記撮像画像における該重畳物領域をトリミングした前記重畳物領域画像を示す前記重畳物領域画像情報を生成する、付記項１に記載の画像重畳システム。
　（付記項３）
　第１の段階において撮像装置が利用者を撮像した撮像画像における顔領域をトリミングした顔領域画像を示す顔領域画像情報を生成するステップと、
　前記第１の段階において、前記撮像装置が重畳物を撮像した撮像画像における重畳物領域をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成するステップと、
　前記顔領域画像に含まれる、前記利用者の顔画像を認識し、該顔画像を示す顔画像情報を生成するステップと、
　前記重畳物領域画像に相当する重畳画像を認識し、前記重畳画像を識別するための重畳画像識別子を抽出するステップと、
　前記第１の段階の後の第２の段階において前記撮像装置が前記利用者を撮像した撮像画像における、前記顔領域及び前記重畳物領域より大きい合成領域の画像である合成領域画像から、前記顔画像情報に基づいて、前記利用者の顔画像を認識するステップと、
　該顔画像に、前記重畳画像を重畳した合成画像を示す合成画像情報を生成するステップと、
を含む画像重畳方法。
　（付記項４）
　前記顔領域画像に含まれる前記顔画像に基づいて、前記重畳物領域を決定するステップをさらに含み、
　前記重畳物領域画像情報を生成するステップは、前記撮像画像における該重畳物領域をトリミングした前記重畳物領域画像を示す前記重畳物領域画像情報を生成するステップを含む、付記項３に記載の画像重畳方法。
　本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記載された場合と同程度に、本明細書中に参照により取り込まれる。
　上述の実施形態は代表的な例として説明したが、本開示の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
１　　　　　　　撮像装置
２　　　　　　　顔認識装置
３　　　　　　　重畳物認識装置
４、４－１　　　制御装置
５　　　　　　　合成装置
６　　　　　　　表示装置
３１　　　　　　通信部
３２　　　　　　重畳画像情報記憶部
３３　　　　　　認識部
４１　　　　　　通信部
４２、４２－１　領域情報記憶部
４３　　　　　　重畳画像情報記憶部
４４　　　　　　トリミング部
４５　　　　　　シナリオ制御部
４６　　　　　　領域決定部
５１　　　　　　通信部
５２　　　　　　顔画像検出部
５３　　　　　　重畳部
１００、１０１　画像重畳システム
１０２　　　　　コンピュータ
１１０　　　　　プロセッサ
１２０　　　　　ＲＯＭ
１３０　　　　　ＲＡＭ
１４０　　　　　ストレージ
１５０　　　　　入力部
１６０　　　　　出力部
１７０　　　　　通信インターフェース
１８０　　　　　バス

Claims (4)

  1. 　第１の段階において撮像装置が利用者を撮像した撮像画像における顔領域をトリミングした顔領域画像を示す顔領域画像情報を生成し、前記第１の段階において前記撮像装置が重畳物を撮像した撮像画像における重畳物領域をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成する制御装置と、
    　前記顔領域画像に含まれる、前記利用者の顔画像を認識し、該顔画像を示す顔画像情報を生成する顔認識装置と、
    　前記重畳物領域画像に相当する重畳画像を認識する重畳物認識装置と、
    　前記第１の段階の後の第２の段階において前記撮像装置が前記利用者を撮像した撮像画像における、前記顔領域及び前記重畳物領域より大きい合成領域の画像である合成領域画像から、前記顔画像情報に基づいて、前記利用者の顔画像を検出し、該顔画像に、前記重畳画像を重畳した合成画像を示す合成画像情報を生成する合成装置と、
    を備える画像重畳システム。
  2. 　前記制御装置は、前記顔画像に基づいて、前記重畳物領域を決定し、前記撮像画像における該重畳物領域をトリミングした前記重畳物領域画像を示す前記重畳物領域画像情報を生成する、請求項１に記載の画像重畳システム。
  3. 　第１の段階において撮像装置が利用者を撮像した撮像画像における顔領域をトリミングした顔領域画像を示す顔領域画像情報を生成するステップと、
    　前記第１の段階において、前記撮像装置が重畳物を撮像した撮像画像における重畳物領域をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成するステップと、
    　前記顔領域画像に含まれる、前記利用者の顔画像を認識し、該顔画像を示す顔画像情報を生成するステップと、
    　前記重畳物領域画像に相当する重畳画像を認識するステップと、
    　前記第１の段階の後の第２の段階において前記撮像装置が前記利用者を撮像した撮像画像における、前記顔領域及び前記重畳物領域より大きい合成領域の画像である合成領域画像から、前記顔画像情報に基づいて、前記利用者の顔画像を検出するステップと、
    　該顔画像に、前記重畳画像を重畳した合成画像を示す合成画像情報を生成するステップと、
    を含む画像重畳方法。
  4. 　前記顔領域画像に含まれる前記顔画像に基づいて、前記重畳物領域を決定するステップをさらに含み、
    　前記重畳物領域画像情報を生成するステップは、前記撮像画像における該重畳物領域をトリミングした前記重畳物領域画像を示す前記重畳物領域画像情報を生成するステップを含む、請求項３に記載の画像重畳方法。
PCT/JP2021/024421 2021-06-28 2021-06-28 画像重畳システム及び画像重畳方法 WO2023275959A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023531173A JPWO2023275959A1 (ja) 2021-06-28 2021-06-28
PCT/JP2021/024421 WO2023275959A1 (ja) 2021-06-28 2021-06-28 画像重畳システム及び画像重畳方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/024421 WO2023275959A1 (ja) 2021-06-28 2021-06-28 画像重畳システム及び画像重畳方法

Publications (1)

Publication Number Publication Date
WO2023275959A1 true WO2023275959A1 (ja) 2023-01-05

Family

ID=84691006

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/024421 WO2023275959A1 (ja) 2021-06-28 2021-06-28 画像重畳システム及び画像重畳方法

Country Status (2)

Country Link
JP (1) JPWO2023275959A1 (ja)
WO (1) WO2023275959A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020016961A (ja) * 2018-07-23 2020-01-30 株式会社東芝 情報処理装置、情報処理方法、および情報処理プログラム
JP2020075080A (ja) * 2018-11-05 2020-05-21 パナソニックＩｐマネジメント株式会社 肌分析装置、肌分析方法、及び、コンピュータプログラム
JP2020113061A (ja) * 2019-01-11 2020-07-27 株式会社東芝 情報処理装置、情報処理方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020016961A (ja) * 2018-07-23 2020-01-30 株式会社東芝 情報処理装置、情報処理方法、および情報処理プログラム
JP2020075080A (ja) * 2018-11-05 2020-05-21 パナソニックＩｐマネジメント株式会社 肌分析装置、肌分析方法、及び、コンピュータプログラム
JP2020113061A (ja) * 2019-01-11 2020-07-27 株式会社東芝 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
JPWO2023275959A1 (ja) 2023-01-05

Similar Documents

Publication Publication Date Title
KR102598116B1 (ko) 증강 현실 데이터를 레코딩하기 위한 기술
US10827230B2 (en) Information processing apparatus and information processing method
US10095458B2 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system
US8558907B2 (en) Multiple sensor input data synthesis
AU2018236457B2 (en) Mixed reality system with virtual content warping and method of generating virtual content using same
US20100079491A1 (en) Image compositing apparatus and method of controlling same
KR20020025301A (ko) 다중 사용자를 지원하는 파노라믹 이미지를 이용한증강현실 영상의 제공 장치 및 그 방법
JP2019079339A (ja) 画像生成装置、画像生成システム、画像生成方法、およびプログラム
US20130278636A1 (en) Object display device, object display method, and object display program
JP6711044B2 (ja) 画像処理装置、表示装置、アニメーション生成方法及びプログラム
JP2018148368A (ja) 画像生成装置およびその制御方法
CN113542624A (zh) 生成商品对象讲解视频的方法及装置
US11204502B2 (en) Image generation apparatus, head mounted display, image generation system, image generation method, and program
JP7134060B2 (ja) 画像生成装置および画像生成方法
JP2013115527A (ja) テレビ会議システム及びテレビ会議方法
WO2023275959A1 (ja) 画像重畳システム及び画像重畳方法
JPWO2020129115A1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
JP5813542B2 (ja) 画像コミュニケーションシステム、ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）動画生成装置及びプログラム
JP6711803B2 (ja) 画像生成装置および画像生成方法
KR20180106811A (ko) 벡터를 이용한 증강 현실 영상 구현 방법
JP2007172271A (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
US20210385299A1 (en) Method and apparatus for augmented reality interaction and presentation
JP2022112392A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2024105870A1 (ja) 制御システム、制御方法、および記録媒体
JP2023058092A (ja) 画像生成システム、画像生成装置、画像生成プログラム及び画像生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21948271

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023531173

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE