WO2013069360A1 - 情報処理装置、表示制御方法、およびプログラム - Google Patents

情報処理装置、表示制御方法、およびプログラム Download PDF

Info

Publication number
WO2013069360A1
WO2013069360A1 PCT/JP2012/072202 JP2012072202W WO2013069360A1 WO 2013069360 A1 WO2013069360 A1 WO 2013069360A1 JP 2012072202 W JP2012072202 W JP 2012072202W WO 2013069360 A1 WO2013069360 A1 WO 2013069360A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
depth
image
display control
subject
Prior art date
Application number
PCT/JP2012/072202
Other languages
English (en)
French (fr)
Inventor
誠司 鈴木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US14/356,008 priority Critical patent/US9569895B2/en
Priority to EP12847810.4A priority patent/EP2779113B1/en
Priority to CN201280053464.8A priority patent/CN103907138B/zh
Publication of WO2013069360A1 publication Critical patent/WO2013069360A1/ja
Priority to US15/377,093 priority patent/US9865094B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth

Definitions

  • the present disclosure relates to an information processing apparatus, a display control method, and a program.
  • Patent Document 1 discloses a process of synthesizing a clothing image with a user's body image.
  • the image processing server described in Patent Literature 1 is based on body profile data (height, shoulder width, etc.) attached to the body image of the user and information such as the body orientation in the image, and the size of the clothing image. Make changes and orientation adjustments and combine them with body images.
  • the present disclosure proposes a new and improved information processing apparatus, display control method, and program capable of determining the front-rear relationship between a real object and a virtual object for each part.
  • An information processing apparatus includes a display control unit that superimposes and displays a virtual image obtained by projecting the virtual object on a captured image obtained by capturing the real object.
  • a program for causing a computer to execute a process of superimposing and displaying a virtual image obtained by projecting the virtual object on a captured image obtained by capturing the real object is proposed.
  • 5 is a flowchart illustrating a basic display control process in AR try-on image display according to an embodiment of the present disclosure.
  • 6 is a flowchart illustrating a process for controlling drawing of an AR try-on image based on depth information according to an embodiment of the present disclosure. It is a figure for demonstrating the example of drawing of the AR try-on image by one Embodiment of this indication. It is a figure for demonstrating the example of drawing of the AR try-on image by one Embodiment of this indication.
  • AR augmented reality
  • the try-on system using AR technology can experience virtual try-on in real time by displaying a virtual clothing image superimposed on the user's movement.
  • the AR try-on system determines a front-rear relationship between a subject that is a real object and virtual clothes that are a virtual object, and a virtual image is superimposed and displayed based on the determined front-rear relationship To do.
  • the AR try-on system 1 includes an information processing device 10, a camera 15, a sensor 17, and a display device 19.
  • the place where the AR fitting system 1 is installed is not particularly limited.
  • the AR try-on system 1 may be installed in the user's home or in a store.
  • a plurality of devices (the information processing device 10, the camera 15, the sensor 17, and the display device 19) configuring the AR fitting system 1 are configured separately, but the AR according to the present disclosure.
  • the configuration of the fitting system 1 is not limited to this.
  • any combination of the plurality of devices constituting the AR fitting system 1 may be integrated.
  • a plurality of devices constituting the AR try-on system 1 may be incorporated in a smartphone, a PDA (Personal Digital Assistant), a mobile phone, a portable music playback device, a portable video processing device, or a portable game device. Good.
  • the camera 15 images an object existing in real space.
  • the object which exists in real space is not specifically limited, For example, creatures, such as a person and an animal, may be sufficient as creatures, such as a garage and a television stand.
  • a subject A for example, a person
  • An image captured by the camera 15 is displayed on the display device 19.
  • the captured image displayed on the display device 19 may be an RGB image.
  • the camera 15 sends the captured image to the information processing apparatus 10.
  • the sensor 17 has a function of detecting a parameter from the real space, and sends detection data to the information processing apparatus 10.
  • the sensor unit 17 can detect infrared rays from the real space and supply an electrical signal corresponding to the amount of infrared rays as detection data to the information processing apparatus 10.
  • the information processing apparatus 10 can recognize an object existing in the real space based on the detection data.
  • the type of sensor 17 is not limited to an infrared sensor. In the example illustrated in FIG. 1, the detection data is supplied from the sensor 17 to the information processing apparatus 10, but the detection data supplied to the information processing apparatus 10 is an image captured by the camera 15. May be.
  • the information processing apparatus 10 can process a captured image by synthesizing a virtual object with the captured image or deforming the captured image according to a recognition result of an object existing in the real space.
  • the display device 19 can also display the image processed by the information processing device 10.
  • the information processing apparatus 10 can recognize the subject A in the real space and display a fitting image obtained by synthesizing the clothing image on the display device 19 in real time.
  • the user's body is an image in real space
  • a clothing object to be tried on is a virtual object superimposed on the image in real space.
  • the AR try-on system 1 can provide virtual try-on in real time.
  • FIG. 2 is a diagram for explaining an example of clothing image overwriting. As shown in FIG. 2, when the subject's hand is positioned in front of the torso and the virtual clothing is overwritten on the subject, the hand positioned in front of the subject's torso is hidden behind the virtual clothing, The context does not appear correctly.
  • a method has been proposed in which color information is used to try appropriate expression of context. For example, there is a technique in which a clothing image is not drawn in a skin color portion of a captured image. Thereby, when the hand is positioned in front of the torso of the subject, the virtual image is not drawn on the hand. However, with this method, it is difficult to draw a clothing image well when the subject is wearing clothes of a skin color. In addition, as shown in FIG. 3, when the subject is wearing long-sleeved clothes, this method results in a state in which only the hand portion floats at the center of the trunk.
  • the depth information is used to determine the front-rear relationship between the subject and the virtual clothing for each part, and the clothing image is superimposed and displayed based on the determined front-rear relationship. Therefore, according to the AR try-on system according to the present embodiment, as shown in FIG. 1, for example, even when a hand is positioned in front of the torso of the subject A, a try-on image in which the front-rear relationship between the subject and the virtual clothes is correct is displayed on the display device 19. Can be displayed.
  • the information processing apparatus 10 includes a control unit 100, an operation input unit 120, and a storage unit 130.
  • the control unit 100 includes a skeleton position calculation unit 101, a display control unit 105, a depth calculation unit 113, and a context determination unit 115.
  • a camera 15, a sensor 17, and a display device 19 are connected to the information processing apparatus 10 by wire or wirelessly.
  • the control unit 100 corresponds to a processor such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor).
  • the control unit 100 operates various functions of the control unit 100 to be described later by executing a program stored in the storage unit 130 or another storage medium. Note that all the blocks constituting the control unit 100 may not be incorporated in the same device, and some of them may be incorporated in another device (for example, a server).
  • the storage unit 130 stores a program and data for processing by the information processing apparatus 10 using a storage medium such as a semiconductor memory or a hard disk. For example, a program for causing the computer to function as the control unit 100 is stored. Further, for example, the storage unit 130 stores data used by the control unit 100. Further, the storage unit 130 according to the present embodiment stores three-dimensional data of clothing items as a virtual object to be displayed. In this specification, the clothing includes clothes or decorations. The decorative items include glasses, a hat, a belt, and the like.
  • the operation input unit 120 generates an input signal based on an input by the user, such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, a lever, and a remote controller, and an input by the user.
  • An input control circuit that outputs to By operating the operation input unit 120, the user can instruct power-on / off of the information processing apparatus 10 or activation of an AR try-on system program.
  • the camera 15 (imaging device) generates a captured image by imaging a real space using an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • FIG. 5 is a diagram for explaining the positional relationship between the camera 15 and the subject A in the real space and the captured image A ′ obtained by capturing the subject A.
  • the focal length freal from the principal point that is the optical center of the lens (not shown) of the camera 15 to the image sensor (not shown) of the camera 15, and the subject A three-dimensional, A captured image A ′ (two-dimensional, xy coordinates) of (xyz coordinates) is shown on the subject side for convenience.
  • the distance dreal from the camera 15 to the subject A is calculated as depth information as will be described later.
  • the angle of view ⁇ real of the camera 15 is determined mainly according to the focal length f real .
  • the camera 15 supplies, for example, the focal length f real (or the angle of view ⁇ real ) and the number of pixels of the captured image A ′ (that is, the number of pixels) as the setting information of the camera 15 to the information processing apparatus 10.
  • Sensor 17 has a function of detecting parameters from real space.
  • the sensor 17 when the sensor 17 is configured by an infrared sensor, the sensor 17 can detect infrared rays from the real space and supply an electrical signal corresponding to the amount of infrared rays as detection data to the information processing apparatus 10.
  • the type of sensor 17 is not limited to an infrared sensor.
  • the sensor 17 when the image imaged with the camera 15 is supplied to the information processing apparatus 10 as detection data, the sensor 17 does not need to exist.
  • the display device 19 is a display module configured by an LCD (Liquid Crystal Display), an OLED (Organic light-Emitting Diode), a CRT (Cathode Ray Tube), or the like. In the embodiment of the present disclosure, it is assumed that the display device 19 is configured separately from the information processing device 10, but the display device 19 may be a part of the information processing device 10.
  • LCD Liquid Crystal Display
  • OLED Organic light-Emitting Diode
  • CRT Cathode Ray Tube
  • control unit 100 includes the skeleton position calculation unit 101, the display control unit 105, the depth calculation unit 113, and the context determination unit 115.
  • the skeleton position calculation unit 101 calculates the skeleton position of the object shown in the captured image based on the detection data.
  • the method for calculating the skeleton position of the object shown in the captured image in real space is not particularly limited.
  • the skeleton position calculation unit 101 first recognizes a region where an object exists in the captured image (hereinafter also referred to as “object presence region”), and obtains depth information of the object in the captured image from the depth calculation unit 113. get.
  • the skeleton position calculation unit 101 recognizes a part of the object in real space (head, left shoulder, right shoulder, abdomen, etc.) reflected in the captured image based on the depth and shape (feature amount) of the object existence region, You may calculate the center position in each site
  • the skeleton position calculation unit 101 uses the feature amount dictionary stored in the storage unit 130 to calculate the feature amount determined from the captured image as the feature amount for each part of the object registered in the feature amount dictionary in advance. Can be recognized to recognize the part of the object included in the captured image.
  • the skeleton position calculation unit 101 is based on the difference value between the captured image before the object is reflected and the captured image where the object is reflected.
  • An object presence area can be recognized. More specifically, the skeleton position calculation unit 101 can recognize an area where the difference value between the captured image before the object is reflected and the captured image where the object is reflected exceeds the threshold value as the object existence area.
  • the skeleton position calculation unit 101 can recognize the object presence area based on the detection data. More specifically, the skeleton position calculation unit 101 can recognize an area where the amount of detected infrared rays exceeds a threshold as an object presence area.
  • the skeleton position calculation unit 101 Based on the depth and shape (feature amount) of the object existence area acquired by each method described above, the skeleton position calculation unit 101 recognizes a part (head, shoulder, etc.) of the object shown in the captured image in real space. Then, the coordinates of the skeleton position of each part are calculated. Next, the skeleton information including the skeleton positions of one or more parts constituting the subject A calculated by the skeleton position calculation unit 101 will be described with reference to FIG.
  • FIG. 6 is a diagram for explaining the skeleton information.
  • the skeleton information includes coordinates B1 to B3, B6, B7, B9, B12, B13, B15, B17, B18, B20 to B22, B24 indicating the positions of the 15 parts constituting the subject A.
  • the number of parts included in the skeleton information is not particularly limited.
  • the coordinate B1 indicates the coordinate of “Head”
  • the coordinate B2 indicates the coordinate of “Neck”
  • the coordinate B3 indicates the coordinate of “Torso”
  • the coordinate B6 indicates the coordinate of “Right Shoulder”
  • the coordinate B7 indicates The coordinates of “Right Elbow” are shown.
  • the coordinate B9 indicates the coordinates of “Right Hand”
  • the coordinates B12 indicates the coordinates of “Left Shoulder”
  • the coordinates B13 indicates the coordinates of “Left Elbow”
  • the coordinates B15 indicates the coordinates of “Left Hand”. Yes.
  • the coordinate B17 indicates the coordinate of “Right Hip”
  • the coordinate B18 indicates the coordinate of “Right Knee”
  • the coordinate B20 indicates the coordinate of “Right Foot”
  • the coordinate B21 indicates the coordinate of “left Hip”.
  • a coordinate B22 indicates the coordinates of “Left Knee”
  • a coordinate B24 indicates the coordinates of “Left Foot”.
  • the depth calculation unit 113 calculates depth information of the object in the captured image based on the detection data.
  • the method for calculating the depth in the real space of the object shown in the captured image is not particularly limited, and various methods are assumed.
  • the depth calculation unit 113 can calculate the depth information of the object in the captured image based on the parameter detected by the sensor 17. More specifically, the depth calculation unit 113 analyzes the light detected by the sensor 17 when irradiating light such as infrared rays from an irradiation device (not shown) to the object, thereby analyzing the depth of the object in the captured image. Information can be calculated.
  • the depth calculation unit 113 can calculate the depth information of the object in the captured image based on the phase delay of the light detected by the sensor 17. This method is also called a TOF (Time Of Flight) method. Or when the light irradiated from the irradiation apparatus which is not illustrated is comprised from a known pattern, the depth calculation part 113 is imaged by analyzing the distortion condition of the pattern which comprises the light detected by the sensor 17 The depth information of the object in the image may be calculated.
  • TOF Time Of Flight
  • the depth calculation unit 113 included in the control unit 100 has been described above.
  • an imaging apparatus having a function of calculating depth information of an object in a captured image is called a depth camera and can be realized by a stereo camera or a laser range scanner.
  • the information processing apparatus 10 can acquire depth information from an external device such as a depth camera, the depth calculation unit 113 may not exist.
  • the depth information is acquired in actual dimensions (centimeter units) for each pixel of the captured image, for example.
  • FIG. 7 is an image of such depth information.
  • the depth is represented by the difference in shading. Specifically, the image is displayed in white as the depth is deep (the distance from the camera 15 is far), and is displayed in black as the depth is shallow (the distance from the camera 15 is short).
  • the depth information in the captured image can be acquired in actual dimensions (in centimeters) for each pixel.
  • the context determination unit 115 determines the context between the captured real object and the virtual object for each part using the depth information.
  • context determination unit 115 the depth information of the object in the captured image (see distance d real shown in FIG. 5.), The distance shown in the depth information (FIG. 8 of the object in the virtual image d The vertical order of each pixel is determined.
  • the context determination unit 115 may acquire the depth information of the object in the captured image from the depth calculation unit 113, and may acquire the depth information of the object in the virtual image from the display control unit 105.
  • the context determination unit 115 compares the depth information of the object in the captured image with the depth information of the object in the virtual image, and the object with the smaller depth is positioned in front and the depth is large. It is determined that the other object is located behind. Further, the context determination unit 115 outputs the determination result to the display control unit 105.
  • the display control unit 105 performs control to generate an AR try-on image in which virtual clothes are superimposed and displayed on the subject shown in the captured image, and to display the image on the display device 19.
  • the display control unit 105 according to the present embodiment is based on the front-rear relationship of each part of the object (for example, subject A) and the virtual object (for example, virtual clothing C) in the captured image determined by the front-rear relationship determination unit 115.
  • the virtual image is superimposed and displayed. Accordingly, the display control unit 105 according to the present embodiment can display and control a correct AR fitting image even when the anteroposterior relationship between the subject A and the virtual clothes C is complicated.
  • FIG. 8 is a diagram for explaining a positional relationship between the virtual camera 25 and the virtual clothes C in the virtual space, and a virtual clothes image C ′ (also referred to as a virtual image) obtained by projecting (rendering) the virtual clothes C.
  • the rendered virtual clothing image C ′ is shown on the virtual clothing side in the same manner as the captured image A ′ obtained by capturing the real space illustrated in FIG. 5.
  • the setting (internal parameter) of the virtual camera 25 is determined in accordance with the setting (internal parameter) of the camera 15 that captures an image of real space.
  • the camera settings (internal parameters) are, for example, the focal length f, the angle of view ⁇ , the number of pixels, and the like.
  • the display control unit 105 sets the setting of the virtual camera 25 so as to match the camera 15 in the real space (also referred to as initialization).
  • the display control unit 105 based on the depth information of the object in the captured image, a position from the camera 15 in the real space away from the same distance d Vertual only the virtual camera 25 and the distance d real to the subject A, subject
  • the virtual clothes C are arranged according to the skeleton position.
  • the display control unit 105 may generate the virtual clothes C based on three-dimensional data modeled in advance. Further, the display control unit 105, for example, as shown in FIG. 8, by configuring a set of triangular polygons the surface of the virtual clothing C, can be represented more realistically the three-dimensional shape of the virtual garment.
  • the display control unit 105 can change the arrangement of the virtual clothes C so as to track the skeleton position.
  • the display control unit 105 obtains a virtual clothing image C ′ (virtual image) by rendering with the virtual camera 25, that is, by projecting the three-dimensional clothing image C onto a two-dimensional plane image.
  • the display control unit 105 determines whether or not the clothing image C ′ is drawn based on the determination result by the context determination unit 115. Control for each (for example, pixel). In addition, about display control by the display control part 105, following ⁇ 3. The display control> will be described in detail.
  • the configuration of the information processing apparatus 10 that implements the AR fitting system according to an embodiment of the present disclosure has been described above in detail. Subsequently, display control of the AR try-on image by the information processing apparatus 10 will be described.
  • FIG. 9 is a flowchart showing basic display control processing of an AR try-on image by the information processing apparatus 10. As shown in FIG. 9, first, in step S110, the display control unit 105 performs initialization to match the setting of the virtual camera 25 in the virtual space with the setting of the camera 15 in the real space.
  • step S ⁇ b> 113 the skeleton position calculation unit 101 calculates the skeleton position (xyz coordinates) of the subject A in the captured real space and outputs it to the display control unit 105.
  • step S116 the display control unit 105 arranges the virtual clothes C according to the skeleton position (xyz coordinates) of the subject A in the virtual space.
  • step S119 the display control unit 105 renders the virtual clothes C to acquire the clothes image C ′ (virtual image), draws the AR dressing image by superimposing the clothes image C ′ on the captured image A ′, Control is performed to display on the display device 19 (AR display control).
  • the information processing apparatus 10 repeats steps S113 to S119 until an end instruction is given in step S122.
  • the information processing apparatus 10 can provide an AR dressing image that tracks the movement of the subject A in real time.
  • the information processing apparatus 10 controls the drawing of the AR dressing image based on the context of the subject A and the virtual clothes C in step S119.
  • the drawing of the AR try-on image according to the context according to the present embodiment will be specifically described with reference to FIG.
  • FIG. 10 is a flowchart showing a process of drawing control of an AR dressing image based on depth information by the information processing apparatus 10 according to the present embodiment. More specifically, in FIG. 10, in the display control step S119 of FIG. 9, the display control unit 105, whether the drawing 'clothing image C to be superimposed on the' captured image A, the context determination unit 115 The process which controls for every part (for example, pixel) based on the determination result by is shown.
  • step S125 of FIG. 10 the display control unit 105, based on the three-dimensional coordinates P (x, y, z) of the virtual clothes C, as shown in FIG. Calculate (x, y). For example, the display control unit 105 calculates the two-dimensional coordinate p (x, y) on the image plane by multiplying the three-dimensional coordinate P (x, y, z) by the projection matrix obtained from the internal parameters of the camera 15. be able to.
  • step S127 the display control unit 105, as shown in FIG. 8, and calculates the distance d Vertual in the virtual space from the virtual camera 25 to the coordinates P of the virtual clothing C (x, y, z) .
  • the display control unit 105 outputs the calculated two-dimensional coordinates p (x, y) and the distance d vertical to the context determination unit 115.
  • the depth of space (see distance dreal shown in FIG. 5) is acquired.
  • the depth calculation unit 113 as shown in FIG. 7 calculated pixel (two-dimensional coordinate) for each depth information, 2 'captured image A corresponding to two-dimensional coordinates p' of clothing image C
  • the depth at the dimensional coordinate o (x, y) is acquired.
  • the distance dreal from the camera 15 to the three-dimensional coordinates O (x, y, z) of the subject A is acquired.
  • step S131 the context determination unit 115 compares the distance d Vertual the virtual space, the distance d real in the real space.
  • the front-rear relationship determination unit 115 determines that the virtual clothes C are located in front (near) the subject A, and the process proceeds to step S134.
  • the context determination unit 115 when the distance d Vertual is greater than the distance d real, determines that the virtual clothing C is located behind (farther) than the subject A, the process proceeds to step S137.
  • the context determination unit 115 can determine the context of the subject A and the virtual clothes C for each part (for each coordinate).
  • step S134 when the context control unit 115 determines that the virtual clothing C is positioned before the subject A, the display control unit 105 displays the virtual image C on the pixel at the coordinate o in the captured image A ′. Draw a pixel at the coordinate p of '.
  • step S137 when the context determination unit 115 determines that the virtual clothing C is positioned behind the subject A, the display control unit 105 displays the virtual image C ′ on the pixel at the coordinate o of the captured image A ′. Do not draw the pixel at the coordinate p.
  • steps S125 to S137 described above are performed for every pixel (coordinate) of the clothing image C ′ displayed in a superimposed manner on the captured image A ′.
  • the display control unit 105 can correctly draw an AR fitting image even when the anteroposterior relationship between the subject A and the virtual clothes C is complicated. Drawing example of AR try-on image by display control unit 105 of this embodiment
  • FIGS. 11 and 12 An example of drawing an AR try-on image by the display control unit 105 of the present embodiment is shown in FIGS. 11 and 12.
  • the AR try-on system by comparing the depth of the subject A in the captured image with the depth of the virtual clothes C in the virtual image for each part, And the virtual clothes C can be determined for each part. Further, the AR dressing system according to the present embodiment can draw an AR dressing image in which the front-rear relationship between the subject A and the virtual clothes C is correctly expressed based on the determination result.
  • the hand of the subject A is mainly located in front of the torso of the subject A as an intricate relationship has been described as an example. It can also be applied when a bag is held in front of the body. Also, the present invention can be applied when there is an obstacle (another person, a pillar, a box, etc.) in front of the subject A.
  • the object of fitting is not limited to clothes, but may be decorative items such as glasses, a hat, and a belt.
  • the subject is a person
  • the subject is not limited to a person, and may be an animal such as a dog or a cat.
  • the technology according to the present embodiment that determines the context of a real object and a virtual object for each part using depth information and performs AR display control based on the determined context is the AR technology described above.
  • the present invention is not limited to the try-on system, and can naturally be applied to various other AR display controls.
  • this technique can also take the following structures.
  • a determination unit that determines the front-rear relationship between the captured real object and the virtual object for each part using the depth information;
  • a display control unit that superimposes and displays a virtual image obtained by projecting the virtual object on a captured image obtained by imaging the real object based on the context determined by the determination unit;
  • An information processing apparatus comprising: (2) The determination unit compares the depth of the depth and the virtual object of the object of the real, it determines the positional relationship between the front and rear in accordance with the magnitude of the depth, the information processing apparatus according to (1).
  • the information processing apparatus includes: A depth calculation unit that calculates the depth of the imaged subject based on detection data detected from real space, The determination unit determines the context for each part by comparing the depth of the subject calculated by the depth calculation unit and the depth of virtual clothing, The display control unit superimposes and displays a virtual clothing image obtained by projecting the clothing on a captured image obtained by capturing the subject based on the context determined by the determination unit. ). (4) Wherein the display control unit, the determination unit based on the context of the determination result for each pixel by, controlling the presence or absence of drawing of each of the of virtual clothing image pixel, the information processing apparatus according to (3).
  • Determining the front-rear relationship between the captured real object and the virtual object for each part using the depth information A step of superimposing and displaying a virtual image obtained by projecting the virtual object on a captured image obtained by capturing the real object based on the context determined by the determining step; Including a display control method.
  • a process for determining the front-rear relationship between a captured real object and a virtual object for each part using depth information A process of superimposing and displaying a virtual image obtained by projecting the virtual object on a captured image obtained by imaging the real object based on the context determined by the determination process; A program that causes a computer to execute.
  • the program is Based on the detection data detected from the real space, further causing the computer to execute a process of calculating the depth of the imaged subject, The determining process determines the context for each part by comparing the depth of the subject calculated by the process of calculating the depth with the depth of virtual clothing, The processing of displaying, based on the context in which it is determined by said determining process, the captured image captured the subject and superimpose virtual clothing image projected the apparel, the (6) or ( The program as described in 7). (9) The program according to (8), wherein the displaying process controls the presence or absence of drawing for each pixel of the virtual clothing image based on a determination result of a front-rear relationship for each pixel by the determining process.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】現実の物体と仮想的な物体との部分毎の前後関係に基づいて仮想画像を重畳表示することが可能な情報処理装置、表示制御方法、およびプログラムを提供する。 【解決手段】撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定する判定部と、前記判定部により判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示する表示制御部と、を備える、情報処理装置。

Description

情報処理装置、表示制御方法、およびプログラム
　本開示は、情報処理装置、表示制御方法、およびプログラムに関する。
　仮想的な試着システムとして、ユーザを撮像した撮像画像に衣服の画像を合成する試着画像生成技術が様々提案されている。
　例えば、特許文献１では、ユーザの身体画像に衣服画像を合成する処理が開示されている。具体的には、特許文献１に記載の画像処理サーバは、ユーザの身体画像に添付されている身体プロファイルデータ（身長、肩幅等）および画像における身体の向きなどの情報に基づき、衣服画像のサイズ変更および向きの調整を行い、身体画像に合成する。
特開２００６－３０４３３１号公報
　しかしながら、特許文献１に記載されるような試着画像生成技術では、ユーザの身体画像の上に衣服画像が合成されるので、常に現実の物体（身体）より手前に仮想的な衣服が描かれてしまう。例えばユーザの手が胴の前に位置している場合でも、手前に仮想的な衣服が描かれるので、手が仮想衣服の奥に隠れてしまう。
　このように、現実の物体と仮想的な物体との前後関係が入り組んでいる場合、適切に合成画像を生成することは困難であった。
　そこで、本開示では、現実の物体と仮想的な物体との前後関係を部分毎に判定することが可能な、新規かつ改良された情報処理装置、表示制御方法およびプログラムを提案する。
　本開示によれば、撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定する判定部と、前記判定部により判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示する表示制御部と、を備える情報処理装置を提案する。
　本開示によれば、撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定するステップと、前記判定するステップにより判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示するステップと、を含む表示制御方法を提案する。
　本開示によれば、撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定する処理と、前記判定する処理により判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示する処理と、をコンピュータに実行させるプログラムを提案する。
　以上説明したように本開示によれば、現実の物体と仮想的な物体との前後関係を部分毎に判定することが可能となる。
本開示の一実施形態によるＡＲ試着システムの概要を説明するための図である。 衣服画像の上書きの一例を説明するための図である。 衣服画像の上書きの他の例を説明するための図である。 本開示の一実施形態による情報処理装置の構成を示すブロック図である。 実空間におけるカメラと被写体の位置関係、および被写体を撮像した撮像画像を説明するための図である。 本開示の一実施形態による骨格情報を説明するための図である。 本開示の一実施形態による深度情報を説明するための図である。 仮想空間における仮想カメラと仮想衣服の位置関係、および仮想衣服を投影した仮想的な衣服画像を説明するための図である。 本開示の一実施形態によるＡＲ試着画像表示における基本的な表示制御処理を示すフローチャートである。 本開示の一実施形態による深度情報に基づくＡＲ試着画像の描画制御の処理を示すフローチャートである。 本開示の一実施形態によるＡＲ試着画像の描画例を説明するための図である。 本開示の一実施形態によるＡＲ試着画像の描画例を説明するための図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態によるＡＲ試着システムの概要
　２．情報処理装置の構成
　３．表示制御
　　３－１．基本的な表示制御
　　３－２．前後関係に応じたＡＲ試着画像の描画
　４．まとめ
　　＜１．本開示の一実施形態によるＡＲ試着システムの概要＞
　近年、実世界に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、テキスト、アイコン又はアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化され得る。ＡＲ技術の主要な適用分野の１つは、実世界でのユーザ活動の支援である。以下では、このＡＲ技術を試着システムに適用する。
　ＡＲ技術を利用した試着システムは、ユーザの動作に合わせて仮想的な衣服画像を重畳表示することで、リアルタイムに仮想試着を体験することができる。また、本開示の一実施形態によるＡＲ試着システムは、現実の物体である被写体と、仮想的な物体である仮想衣服の前後関係を判定し、判定された前後関係に基づいて仮想画像を重畳表示する。
　このような本開示の一実施形態によるＡＲ試着システムの概要を、図１を参照しながら説明する。図１に示すように、本開示の一実施形態によるＡＲ試着システム１は、情報処理装置１０、カメラ１５、センサ１７、および表示装置１９を有する。なお、ＡＲ試着システム１が設置される場所は特に限定されない。例えば、ＡＲ試着システム１は、ユーザの自宅内に設置されてもよいし、店頭に設置されてもよい。
　また、図１に示した例では、ＡＲ試着システム１を構成する複数の装置（情報処理装置１０、カメラ１５、センサ１７および表示装置１９）が別体に構成されているが、本開示によるＡＲ試着システム１の構成はこれに限定されない。例えば、ＡＲ試着システム１を構成する上記複数の装置のいずれかの組み合わせが一体化されていてもよい。また、例えば、ＡＲ試着システム１を構成する複数の装置は、スマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）、携帯電話、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器に内蔵されていてもよい。
　カメラ１５（撮像装置）は、実空間に存在する物体を撮像する。実空間に存在する物体は、特に限定されないが、例えば、人物や動物などの生き物であってもよく、車庫やテレビ台などといった生き物以外であってもよい。図１に示した例では、実空間に存在する物体として被写体Ａ（例えば、人物）がカメラ１５により撮像される。カメラ１５により撮像された画像（撮像画像とも称す）は表示装置１９に表示される。表示装置１９に表示される撮像画像は、ＲＧＢ画像であってもよい。また、カメラ１５は、撮像画像を情報処理装置１０に送る。
　センサ１７は、実空間からパラメータを検出する機能を有し、検出データを情報処理装置１０に送る。例えば、センサ１７が赤外線センサにより構成されている場合、センサ部１７は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして情報処理装置１０に供給することができる。情報処理装置１０は、例えば、検出データに基づいて実空間に存在する物体を認識することができる。センサ１７の種類は、赤外線センサに限定されない。なお、図１に示した例では、検出データがセンサ１７から情報処理装置１０に供給されることとしているが、情報処理装置１０に供給される検出データは、カメラ１５により撮像された画像であってもよい。
　情報処理装置１０は、実空間に存在する物体の認識結果に応じて、撮像画像に対して仮想オブジェクトを合成したり撮像画像を変形したりすることにより、撮像画像を処理することができる。表示装置１９は、情報処理装置１０により処理された画像を表示することも可能である。
　例えば、図１に示すように、情報処理装置１０は、実空間の被写体Ａを認識し、衣服画像を合成した試着画像を表示装置１９にリアルタイムに表示させることができる。ここでは、ユーザの身体が実空間の映像であり、試着対象の衣服画像が実空間の映像に重畳表示された仮想オブジェクトである。これにより、ＡＲ試着システム１は、仮想的な試着をリアルタイムに提供することができる。
　ここで、通常、仮想的な試着システムでは、被写体を撮像した撮像画像に衣服画像を上書きするので、常に現実の物体（被写体）より手前に仮想的な物体（仮想衣服）が描かれていた。以下、このような衣服画像の上書きによる弊害について図２および図３を参照して説明する。
　図２は、衣服画像上書きの一例を説明するための図である。図２に示すように、被写体の手が胴の前に位置する場合に、仮想衣服が被写体に上書きされると、被写体の胴の前に位置する手が、仮想衣服の奥に隠れてしまい、前後関係が正しく表れない。
　また、色情報を用いて前後関係の適切な表現を試みる手法も提案されている。例えば撮像画像のうち肌色の部分には衣服画像を描画しないという手法である。これにより、被写体の胴の前に手が位置する場合に、手に仮想画像が描画されることはない。しかしながら、この手法だと被写体が肌色に近い色の服を着ている場合は上手く衣服画像を描画することは困難である。また、図３に示すように、被写体が長袖の服を着ている場合、この手法だと手の部分だけ胴の中心に浮いた状態となってしまう。
　他にも、撮像画像内の物体をセグメンテーションすることにより、前後関係の適切な表現を試みる手法も提案されている。セグメンテーションは「人」や「服」など物体単位で領域分割し、物体毎の前後関係を比較するので、例えば「『人』より『服』が手前」または「『服』より『人』が手前」のいずれかを判断することができる。しかしながら、例えば図２に示すように、手が胴の前に位置している場合、「『人』より手前に『服』が位置し、さらに手前に『人』が位置する」といった連続的な判断は困難であるの。よって、セグメンテーションを用いた手法でも、現実の物体と仮想的な物体との前後関係を正確に判定することは難しい。
　上述した手と胴のように、「人」という一つの物体において部分毎に仮想的な物体との前後関係を正しく判定することは困難であった。また、前後関係を正しく判定できない場合、結果的に仮想衣服を適切に描画できない箇所が生じ、仮想試着システムの精度が下がる要因となっていた。
　そこで、本開示の一実施形態によるＡＲ試着システムでは、深度情報を用いて被写体と仮想衣服の前後関係を部分毎に判定し、判定された前後関係に基づいて衣服画像を重畳表示する。よって、本実施形態によるＡＲ試着システムによれば、例えば図１に示すように、被写体Ａの胴の前に手が位置する場合でも、被写体と仮想衣服の前後関係が正しい試着画像を表示装置１９に表示することができる。
　　＜２．情報処理装置の構成＞
　次に、本開示によるＡＲ試着システムを実現する情報処理装置１０の構成について、図４を参照して説明する。図４に示すように、情報処理装置１０は、制御部１００、操作入力部１２０、および記憶部１３０を有する。制御部１００は、骨格位置算出部１０１、表示制御部１０５、深度算出部１１３、および前後関係判定部１１５を有する。また、情報処理装置１０には、カメラ１５、センサ１７および表示装置１９が、有線または無線により接続されている。
　制御部１００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）またはＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）などのプロセッサに相当する。制御部１００は、記憶部１３０または他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する制御部１００の様々な機能を動作させる。なお、制御部１００を構成する各ブロックは、全てが同一の装置に組み込まれていなくてもよく、一部が他の装置（例えば、サーバ）に組み込まれていてもよい。
　記憶部１３０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、情報処理装置１０による処理のためのプログラムおよびデータを記憶する。例えば、制御部１００としてコンピュータを機能させるためのプログラムを記憶する。さらに、例えば、記憶部１３０は、制御部１００により使用されるデータを記憶する。また、本実施形態による記憶部１３０は、表示対象となる仮想オブジェクトとして、服飾品の３次元データを記憶する。本明細書において、服飾品とは、衣服または装飾品を含む。また、装飾品とは、メガネ、帽子およびベルトなどを含む。
　操作入力部１２０は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチ、レバーおよびリモートコントローラーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、制御部１００に出力する入力制御回路などから構成されている。ユーザは、操作入力部１２０を操作することにより、情報処理装置１０の電源ＯＮ／ＯＦＦや、ＡＲ試着システムプログラムの起動などを指示したりすることができる。
　カメラ１５（撮像装置）は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を用いて実空間を撮像することにより、撮像画像を生成する。本開示の実施形態においては、カメラ１５が情報処理装置１０と別体に構成されていることを想定しているが、カメラ１５は、情報処理装置１０の一部であってもよい。
　また、カメラ１５は、撮像時におけるカメラ１５の設定情報を情報処理装置１０に供給する。ここで、図５に、実空間におけるカメラ１５と被写体Ａの位置関係、および被写体Ａを撮像した撮像画像Ａ'を説明するための図を示す。図５では、カメラ１５のレンズ（不図示）の光学的な中心である主点から、カメラ１５の撮像素子（不図示）までの焦点距離ｆｒｅａｌと、撮像素子に写る被写体Ａ（３次元、ｘｙｚ座標）の撮像画像Ａ'（２次元、ｘｙ座標）を、便宜上被写体側に示す。カメラ１５から被写体Ａまでの距離ｄｒｅａｌは、後述するように深度情報として算出される。また、カメラ１５の画角θｒｅａｌは、主に焦点距離ｆｒｅａｌに応じて決定される。カメラ１５は、カメラ１５の設定情報として、例えば焦点距離ｆｒｅａｌ（または画角θｒｅａｌ）および撮像画像Ａ'の画素数（すなわちピクセル数）を、情報処理装置１０に供給する。
　センサ１７は、実空間からパラメータを検出する機能を有している。例えば、センサ１７が赤外線センサにより構成されている場合、センサ１７は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして情報処理装置１０に供給することができる。センサ１７の種類は、赤外線センサに限定されない。なお、カメラ１５により撮像された画像が検出データとして情報処理装置１０に供給される場合には、センサ１７は存在しなくてもよい。
　表示装置１９は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ　ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）またはＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）などにより構成される表示モジュールである。本開示の実施形態においては、表示装置１９が情報処理装置１０と別体に構成されていることを想定しているが、表示装置１９は、情報処理装置１０の一部であってもよい。
　続いて、上記制御部１００の機能構成について説明する。上述したように、制御部１００は、骨格位置算出部１０１、表示制御部１０５、深度算出部１１３、および前後関係判定部１１５を有する。
　　　（骨格位置算出部１０１）
　骨格位置算出部１０１は、検出データに基づいて撮像画像に映る物体の骨格位置を算出する。撮像画像に映る物体の実空間上の骨格位置を算出する手法は特に限定されない。例えば、骨格位置算出部１０１は、まず、撮像画像において物体の存在する領域（以下、「物体存在領域」とも称す。）を認識するとともに、深度算出部１１３から撮像画像内の物体の深度情報を取得する。そして、骨格位置算出部１０１は、物体存在領域の深度と形（特徴量）に基づいて、撮像画像に映る物体の実空間上の部位（頭、左肩、右肩、腹部など）を認識し、各部位における中心位置を骨格位置として算出してもよい。ここで、骨格位置算出部１０１は、記憶部１３０に記憶された特徴量辞書を用いて、撮像画像から決定される特徴量を、当該特徴量辞書に予め登録された物体の部位ごとの特徴量と照合することにより、撮像画像に含まれる物体の部位を認識することができる。
　物体存在領域を認識する手法としては様々な手法が想定される。例えば、撮像画像が検出データとして情報処理装置１０に供給された場合には、骨格位置算出部１０１は、物体が映る前の撮像画像と物体が映っている撮像画像との差分値に基づいて、物体存在領域を認識することができる。より詳細には、骨格位置算出部１０１は、物体が映る前の撮像画像と物体が映っている撮像画像との差分値が閾値を超える領域を、物体存在領域として認識することができる。
　また、例えば、センサ１７により検出されたパラメータが検出データとして情報処理装置１０に供給された場合には、骨格位置算出部１０１は、検出データに基づいて、物体存在領域を認識することができる。より詳細には、骨格位置算出部１０１は、検出される赤外線量が閾値を超える領域を、物体存在領域として認識することができる。
　以上説明した各手法により取得した物体存在領域の深度と形（特徴量）に基づいて、骨格位置算出部１０１は、撮像画像に映る物体の実空間上の部位（頭、肩など）を認識し、各部位の骨格位置の座標を算出する。次に、骨格位置算出部１０１が算出した被写体Ａを構成する１以上の部位の骨格位置を含む骨格情報について図６を参照して説明する。
　図６は、骨格情報を説明するための図である。図６に示した例では、骨格情報は、被写体Ａを構成する１５の部位の位置を示す座標Ｂ１～Ｂ３、Ｂ６、Ｂ７、Ｂ９、Ｂ１２、Ｂ１３、Ｂ１５、Ｂ１７、Ｂ１８、Ｂ２０～Ｂ２２、Ｂ２４として示されているが、骨格情報に含まれる部位の数は特に限定されない。
　なお、座標Ｂ１は「Ｈｅａｄ」の座標を示し、座標Ｂ２は「Ｎｅｃｋ」の座標を示し、座標Ｂ３は「Ｔｏｒｓｏ」の座標を示し、座標Ｂ６は「Ｒｉｇｈｔ　Ｓｈｏｕｌｄｅｒ」の座標を示し、座標Ｂ７は「Ｒｉｇｈｔ　Ｅｌｂｏｗ」の座標を示している。また、座標Ｂ９は「Ｒｉｇｈｔ　Ｈａｎｄ」の座標を示し、座標Ｂ１２は「Ｌｅｆｔ　Ｓｈｏｕｌｄｅｒ」の座標を示し、座標Ｂ１３は「Ｌｅｆｔ　Ｅｌｂｏｗ」の座標を示し、座標Ｂ１５は「Ｌｅｆｔ　Ｈａｎｄ」の座標を示している。
　座標Ｂ１７は「Ｒｉｇｈｔ　Ｈｉｐ」の座標を示し、座標Ｂ１８は「Ｒｉｇｈｔ　Ｋｎｅｅ」の座標を示し、座標Ｂ２０は「Ｒｉｇｈｔ　Ｆｏｏｔ」の座標を示し、座標Ｂ２１は「ｌｅｆｔ　Ｈｉｐ」の座標を示している。座標Ｂ２２は「Ｌｅｆｔ　Ｋｎｅｅ」の座標を示し、座標Ｂ２４は「Ｌｅｆｔ　Ｆｏｏｔ」の座標を示している。
　　　（深度算出部１１３）
　深度算出部１１３は、検出データに基づいて撮像画像内の物体の深度情報を算出する。撮像画像に写る物体の実空間上の深度（ここでは、カメラ１５からの距離）を算出する手法は特に限定されず、様々な手法が想定される。
　例えば、深度算出部１１３は、撮像画像内の物体の深度情報を、センサ１７により検出されたパラメータに基づいて算出することも可能である。より詳細には、深度算出部１１３は、図示しない照射装置から赤外線などの光を物体に向けて照射した場合に、センサ１７により検出された光を解析することにより、撮像画像内の物体の深度情報を算出することができる。
　また、例えば深度算出部１１３は、センサ１７により検出された光の位相遅れに基づいて、撮像画像内の物体の深度情報を算出することができる。この手法は、ＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）方式とも言われる。あるいは、図示しない照射装置から照射される光が既知のパターンから構成される場合には、深度算出部１１３は、センサ１７により検出された光を構成するパターンの歪み具合を解析することにより、撮像画像内の物体の深度情報を算出してもよい。
　以上、制御部１００が有する深度算出部１１３について説明した。ここで、撮像画像内の物体の深度情報を算出する機能を有する撮像装置はデプスカメラと称され、ステレオカメラやレーザーレンジスキャナにより実現され得る。情報処理装置１０がデプスカメラ等の外部装置から深度情報を取得できる場合、深度算出部１１３は存在しなくてもよい。
　次に、深度算出部１１３により算出された、またはデプスカメラ等から取得した深度情報について説明する。深度情報は、例えば撮像画像のピクセル毎に実寸法（センチメートル単位）で取得される。図７は、このような深度情報を画像化した図である。図７に示す画像では、濃淡の差によって深度の深さを表している。具体的には、深度が深い（カメラ１５からの距離が遠い）ほど白く表示し、深度が浅い（カメラ１５からの距離が近い）ほど黒く表示する。このように、撮像画像内の深度情報は、ピクセル毎に実寸法（センチメートル単位）で取得することもできる。
　　　（前後関係判定部１１５）
　前後関係判定部１１５は、撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定する。
　より具体的には、例えば前後関係判定部１１５は、撮像画像内の物体の深度情報（図５に示す距離ｄｒｅａｌ参照。）と、仮想画像内の物体の深度情報（図８に示す距離ｄｖｅｒｔｕａｌ参照。）を比較することにより、ピクセル（画素）毎の前後関係を判定する。
　また、前後関係判定部１１５は、撮像画像内の物体の深度情報を深度算出部１１３から取得し、仮想画像内の物体の深度情報を表示制御部１０５から取得してもよい。
　ここで、深度が小さい（浅い）ほど、カメラから物体までの距離は近いと言える。また、深度が大きい（深い）ほど、カメラから物体の距離が遠いといえる。よって、本実施形態による前後関係判定部１１５は、撮像画像内の物体の深度情報と、仮想画像内の物体の深度情報を比較し、深度が小さい方の物体が手前に位置し、深度が大きい方の物体が後ろに位置すると判定する。また、前後関係判定部１１５は、判定結果を表示制御部１０５に出力する。
　　　（表示制御部１０５）
　表示制御部１０５は、撮像画像に映る被写体に仮想衣服を重畳表示したＡＲ試着画像を生成し、表示装置１９に表示させる制御を行う。また、本実施形態による表示制御部１０５は、前後関係判定部１１５により判定された撮像画像内の物体（例えば被写体Ａ）と仮想的な物体（例えば仮想衣服Ｃ）の部分毎の前後関係に基づいて、仮想画像を重畳表示する。これにより、本実施形態による表示制御部１０５は、被写体Ａと仮想衣服Ｃの前後関係が入り組んでいる場合でも、正しいＡＲ試着画像を表示制御することができる。
　ここで、撮像画像に重畳する仮想画像の生成について、図８を参照して説明する。図８は、仮想空間における仮想カメラ２５と仮想衣服Ｃの位置関係、および仮想衣服Ｃを投影（レンダリング）した仮想的な衣服画像Ｃ'（仮想画像とも称す）を説明するための図を示す。図８では、図５に示す実空間を撮像した撮像画像Ａ'と同様に、レンダリングした仮想的な衣服画像Ｃ'を、仮想衣服側に示す。
　仮想カメラ２５の設定（内部パラメータ）は、実空間を撮像するカメラ１５の設定（内部パラメータ）に合わせて決定される。カメラの設定（内部パラメータ）とは、例えば、焦点距離ｆ、画角θおよび画素数等である。表示制御部１０５は、仮想カメラ２５の設定を、実空間のカメラ１５と一致するよう設定する（初期化とも称す）。
　次に、表示制御部１０５は、撮像画像内の物体の深度情報に基づいて、実空間におけるカメラ１５から被写体Ａまでの距離ｄｒｅａｌと同じ距離ｄｖｅｒｔｕａｌだけ仮想カメラ２５から離れた位置に、被写体の骨格位置に合わせて仮想衣服Ｃを配置する。表示制御部１０５は、仮想衣服Ｃを、予めモデリングされた３次元データに基づいて生成してもよい。また、表示制御部１０５は、例えば図８に示すように、仮想衣服Ｃの表面を三角形のポリゴンの集合により構成することで、仮想衣服の３次元形状をよりリアルに表現することができる。また、被写体Ａの骨格位置が時間経過と共に変化する場合、表示制御部１０５は、骨格位置をトラッキングするよう仮想衣服Ｃの配置を変化させることができる。
　次に、表示制御部１０５は、仮想カメラ２５でレンダリング、すなわち３次元の衣服画像Ｃを２次元の平面画像に投影することで、仮想的な衣服画像Ｃ'（仮想画像）を取得する。
　そして、表示制御部１０５は、撮像画像Ａ'（図５参照）に衣服画像Ｃ'を重畳表示する際、衣服画像Ｃ'の描画の有無を、前後関係判定部１１５による判定結果に基づき、部分（例えばピクセル）毎に制御する。なお、表示制御部１０５による表示制御については、次の＜３．表示制御＞において詳細に説明する。
　以上、本開示の一実施形態によるＡＲ試着システムを実現する情報処理装置１０の構成について詳細に説明した。続いて、情報処理装置１０によるＡＲ試着画像の表示制御について説明する。
　　＜３．表示制御＞
　　［３－１．基本的な表示制御］
　図９は、情報処理装置１０によるＡＲ試着画像の基本的な表示制御処理を示すフローチャートである。図９に示すように、まず、ステップＳ１１０において、表示制御部１０５は、仮想空間における仮想カメラ２５の設定を、実空間のカメラ１５の設定に一致させる初期化を行う。
　次いで、ステップＳ１１３において、骨格位置算出部１０１は、撮像した実空間における被写体Ａの骨格位置（ｘｙｚ座標）を算出し、表示制御部１０５に出力する。
　次に、ステップＳ１１６において、表示制御部１０５は、仮想空間において、仮想衣服Ｃを被写体Ａの骨格位置（ｘｙｚ座標）に合わせて配置する。
　そして、ステップＳ１１９において、表示制御部１０５は、仮想衣服Ｃをレンダリングして衣服画像Ｃ'（仮想画像）を取得し、衣服画像Ｃ'を撮像画像Ａ'に重ねてＡＲ試着画像を描画し、表示装置１９に表示するよう制御する（ＡＲ表示制御）。
　また、情報処理装置１０は、ステップＳ１２２において、終了指示がなされるまで上記ステップＳ１１３からＳ１１９を繰り返し行う。これにより、情報処理装置１０は、被写体Ａの動きをトラッキングするＡＲ試着画像をリアルタイムで提供することができる。
　以上、基本的な表示制御処理について説明した。なお、本実施形態による情報処理装置１０は、上記ステップＳ１１９において、被写体Ａと仮想衣服Ｃの前後関係に基づいてＡＲ試着画像の描画を制御する。以下、本実施形態による前後関係に応じたＡＲ試着画像の描画について図１０を参照して具体的に説明する。
　　［３－２．前後関係に応じたＡＲ試着画像の描画］
　図１０は、本実施形態の情報処理装置１０による深度情報に基づくＡＲ試着画像の描画制御の処理を示すフローチャートである。より具体的には、図１０では、図９に示すステップＳ１１９の表示制御において、表示制御部１０５が、撮像画像Ａ'に重畳表示する衣服画像Ｃ'の描画の有無を、前後関係判定部１１５による判定結果に基づき、部分（例えばピクセル）毎に制御する処理を示す。
　まず、図１０のステップＳ１２５において、表示制御部１０５は、図８に示すように、仮想衣服Ｃの３次元座標Ｐ（ｘ，ｙ，ｚ）に基づいて、仮想画像Ｃ'の任意の座標ｐ（ｘ，ｙ）を算出する。例えば表示制御部１０５は、カメラ１５の内部パラメータから求められる射影行列を３次元座標Ｐ（ｘ，ｙ，ｚ）に掛けることで、画像平面上の２次元座標ｐ（ｘ，ｙ）を算出することができる。
　次に、ステップＳ１２７において、表示制御部１０５は、図８に示すように、仮想カメラ２５から仮想衣服Ｃの座標Ｐ（ｘ，ｙ，ｚ）までの仮想空間における距離ｄｖｅｒｔｕａｌを算出する。また、表示制御部１０５は、算出した２次元座標ｐ（ｘ，ｙ）、および距離ｄｖｅｒｔｕａｌを前後関係判定部１１５に出力する。
　次いで、ステップＳ１２８において、前後関係判定部１１５は、衣服画像Ｃ'（仮想画像）の２次元座標ｐ（ｘ、ｙ）に相当する撮像画像Ａ'の２次元座標ｏ（ｘ，ｙ）における実空間の深度（図５に示す距離ｄｒｅａｌ参照）を取得する。具体的には、例えば深度算出部１１３が算出した図７に示すようなピクセル（２次元座標）毎の深度情報に基づき、衣服画像Ｃ'の２次元座標ｐに相当する撮像画像Ａ'の２次元座標ｏ（ｘ，ｙ）における深度を取得する。ここでは、図５に示すように、カメラ１５から被写体Ａの３次元座標Ｏ（ｘ，ｙ，ｚ）までの距離ｄｒｅａｌを取得する。
　続いて、ステップＳ１３１において、前後関係判定部１１５は、仮想空間の距離ｄｖｅｒｔｕａｌと、実空間の距離ｄｒｅａｌを比較する。前後関係判定部１１５は、距離ｄｖｅｒｔｕａｌが距離ｄｒｅａｌより小さかった場合、仮想衣服Ｃが被写体Ａより前（近く）に位置すると判定し、処理はステップＳ１３４に進む。また、前後関係判定部１１５は、距離ｄｖｅｒｔｕａｌが距離ｄｒｅａｌより大きかった場合、仮想衣服Ｃが被写体Ａより後ろ（遠く）に位置すると判定し、処理はステップＳ１３７に進む。このように、前後関係判定部１１５は、部分毎に（座標毎に）被写体Ａと仮想衣服Ｃの前後関係を判定することができる。
　次に、ステップＳ１３４において、表示制御部１０５は、前後関係判定部１１５により仮想衣服Ｃが被写体Ａより前に位置すると判定された場合、撮像画像Ａ'の座標ｏのピクセル上に、仮想画像Ｃ'の座標ｐのピクセルを描画する。
　一方、ステップＳ１３７において、表示制御部１０５は、前後関係判定部１１５により仮想衣服Ｃが被写体Ａより後ろに位置すると判定された場合、撮像画像Ａ'の座標ｏのピクセル上には仮想画像Ｃ'の座標ｐのピクセルを描画しない。
　以上説明したステップＳ１２５～Ｓ１３７の処理は、撮像画像Ａ'に重畳表示する衣服画像Ｃ'の全てのピクセル（座標）毎に行われる。これにより、表示制御部１０５は、被写体Ａと仮想衣服Ｃの前後関係が入り組んでいる場合であっても、正しくＡＲ試着画像を描画することができる。本実施形態の表示制御部１０５によるＡＲ試着画像の描画例を
　　　（ＡＲ試着画像の描画例）
　続いて、本実施形態の表示制御部１０５によるＡＲ試着画像の描画例を図１１および図１２に示す。
　図１１に示すように、被写体Ａの手が胴の手前に位置する場合でも、仮想衣服Ｃを重畳表示（合成）する際に、部分毎に前後関係が判定されるので、図２に示した通常の合成と異なり、胴の手前に位置する被写体Ａの手には仮想衣服Ｃが描画されない。
　また、図１２に示すように、被写体Ａが長袖を着用し、胴の手前に手が位置する場合でも、図３を用いて上述した色情報に基づく合成と異なり、本実施形態では部分毎に前後関係が判定されるので、胴の手前に位置する被写体Ａの手には仮想衣服Ｃが描画されない。
　　＜４．まとめ＞
　上述したように、本開示の一実施形態によるＡＲ試着システムによれば、撮像画像内の被写体Ａの深度と、仮想画像内の仮想衣服Ｃの深度とを部分毎に比較することにより、被写体Ａと仮想衣服Ｃの前後関係を部分毎に判定することができる。また、本実施形態によるＡＲ試着システムは、かかる判定結果に基づいて、被写体Ａと仮想衣服Ｃの前後関係が正しく表現されたＡＲ試着画像を描画することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属
するものと了解される。
　例えば、上述したＡＲ試着システムでは、前後関係が入り組んだ状態として、主に被写体Ａの胴の手前に被写体Ａの手が位置する場合を例として説明したが、これに限らず、例えば被写体Ａがバッグなどを体の前で持っている場合にも適用できる。また、被写体Ａの前に障害物（他の人、柱、箱など）がある場合にも適用できる。
　また、上述したＡＲ試着システムでは、主に仮想衣服の試着を例として説明したが、試着対象は衣服に限らず、例えばメガネ、帽子およびベルトなどの装飾品であってもよい。
　また、上述したＡＲ試着システムでは、被写体が人物の場合について説明したが、被写体は人物に限定されず、例えば犬や猫などの動物であってもよい。この場合、動物を撮像した撮像画像に、例えばペット用の衣服画像を重畳表示するＡＲ試着システムを提供することができる。
　また、現実の物体と仮想的な物体との前後関係を、深度情報を利用して部分毎に判定し、判定された前後関係に基づきＡＲ表示制御を行う本実施形態による技術は、上述したＡＲ試着システムに限定されず、その他様々なＡＲ表示制御に当然に適用可能である。
　なお、本技術は以下のような構成も取ることができる。
（１）
　撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定する判定部と、
　前記判定部により判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示する表示制御部と、
を備える、情報処理装置。
（２）
　前記判定部は、前記現実の物体の深度と前記仮想的な物体の深度とを比較し、深度の大小に応じて前後の位置関係を判定する、前記（１）に記載の情報処理装置。
（３）
　前記情報処理装置は、
　実空間から検出された検出データに基づき、撮像された被写体の深度を算出する深度算出部を備え、
　前記判定部は、前記深度算出部により算出された前記被写体の深度と、仮想的な服飾品の深度とを比較することにより、部分毎に前後関係を判定し、
　前記表示制御部は、前記判定部により判定した前後関係に基づいて、前記被写体を撮像した撮像画像に、前記服飾品を投影した仮想的な服飾画像を重畳表示する、前記（１）または（２）に記載の情報処理装置。
（４）
　前記表示制御部は、前記判定部によるピクセル毎の前後関係の判定結果に基づいて、前記仮想的な服飾画像のピクセル毎の描画の有無を制御する、前記（３）に記載の情報処理装置。
（５）
　撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定するステップと、
　前記判定するステップにより判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示するステップと、
を含む、表示制御方法。
（６）
　撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定する処理と、
　前記判定する処理により判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示する処理と、
をコンピュータに実行させる、プログラム。
（７）
　前記判定する処理は、前記現実の物体の深度と前記仮想的な物体の深度とを比較し、深度の大小に応じて前後の位置関係を判定する、前記（６）に記載のプログラム。
（８）
　前記プログラムは、
　実空間から検出された検出データに基づき、撮像された被写体の深度を算出する処理をさらに前記コンピュータに実行させ、
　前記判定する処理は、前記深度を算出する処理により算出された前記被写体の深度と、仮想的な服飾品の深度とを比較することにより、部分毎に前後関係を判定し、
　前記表示する処理は、前記判定する処理により判定した前後関係に基づいて、前記被写体を撮像した撮像画像に、前記服飾品を投影した仮想的な服飾画像を重畳表示する、前記（６）または（７）に記載のプログラム。
（９）
　前記表示する処理は、前記判定する処理によるピクセル毎の前後関係の判定結果に基づいて、前記仮想的な服飾画像のピクセル毎の描画の有無を制御する、前記（８）に記載のプログラム。
　１０　　　情報処理装置
　１５　　　カメラ
　１７　　　センサ
　１９　　　表示装置
　１００　　制御部
　１０１　　骨格位置算出部
　１０５　　表示制御部
　１１３　　深度算出部
　１１５　　前後関係判定部
　１２０　　操作入力部
　１３０　　記憶部
　Ａ　　　　被写体
　Ｂ　　　　座標（骨格位置）
　Ｃ　　　　仮想衣服

Claims (9)

  1. 　撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定する判定部と、
    　前記判定部により判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示する表示制御部と、
    を備える、情報処理装置。
  2. 　前記判定部は、前記現実の物体の深度と前記仮想的な物体の深度とを比較し、深度の大小に応じて前後の位置関係を判定する、請求項１に記載の情報処理装置。
  3. 　前記情報処理装置は、
    　実空間から検出された検出データに基づき、撮像された被写体の深度を算出する深度算出部を備え、
    　前記判定部は、前記深度算出部により算出された前記被写体の深度と、仮想的な服飾品の深度とを比較することにより、部分毎に前後関係を判定し、
    　前記表示制御部は、前記判定部により判定した前後関係に基づいて、前記被写体を撮像した撮像画像に、前記服飾品を投影した仮想的な服飾画像を重畳表示する、請求項２に記載の情報処理装置。
  4. 　前記表示制御部は、前記判定部によるピクセル毎の前後関係の判定結果に基づいて、前記仮想的な服飾画像のピクセル毎の描画の有無を制御する、請求項３に記載の情報処理装置。
  5. 　撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定するステップと、
    　前記判定するステップにより判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示するステップと、
    を含む、表示制御方法。
  6. 　撮像された現実の物体と仮想的な物体との前後関係を、深度情報を用いて部分毎に判定する処理と、
    　前記判定する処理により判定された前後関係に基づいて、前記現実の物体を撮像した撮像画像に、前記仮想的な物体を投影した仮想画像を重畳して表示する処理と、
    をコンピュータに実行させる、プログラム。
  7. 　前記判定する処理は、前記現実の物体の深度と前記仮想的な物体の深度とを比較し、深度の大小に応じて前後の位置関係を判定する、請求項６に記載のプログラム。
  8. 　前記プログラムは、
    　実空間から検出された検出データに基づき、撮像された被写体の深度を算出する処理をさらに前記コンピュータに実行させ、
    　前記判定する処理は、前記深度を算出する処理により算出された前記被写体の深度と、仮想的な服飾品の深度とを比較することにより、部分毎に前後関係を判定し、
    　前記表示する処理は、前記判定する処理により判定した前後関係に基づいて、前記被写体を撮像した撮像画像に、前記服飾品を投影した仮想的な服飾画像を重畳表示する、請求項７に記載のプログラム。
  9. 　前記表示する処理は、前記判定する処理によるピクセル毎の前後関係の判定結果に基づいて、前記仮想的な服飾画像のピクセル毎の描画の有無を制御する、請求項８に記載のプログラム。
     
     
PCT/JP2012/072202 2011-11-09 2012-08-31 情報処理装置、表示制御方法、およびプログラム WO2013069360A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/356,008 US9569895B2 (en) 2011-11-09 2012-08-31 Information processing apparatus, display control method, and program
EP12847810.4A EP2779113B1 (en) 2011-11-09 2012-08-31 Information processing device, display control method, and program
CN201280053464.8A CN103907138B (zh) 2011-11-09 2012-08-31 信息处理设备和显示控制方法
US15/377,093 US9865094B2 (en) 2011-11-09 2016-12-13 Information processing apparatus, display control method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011245304A JP2013101528A (ja) 2011-11-09 2011-11-09 情報処理装置、表示制御方法、およびプログラム
JP2011-245304 2011-11-09

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/356,008 A-371-Of-International US9569895B2 (en) 2011-11-09 2012-08-31 Information processing apparatus, display control method, and program
US15/377,093 Continuation US9865094B2 (en) 2011-11-09 2016-12-13 Information processing apparatus, display control method, and program

Publications (1)

Publication Number Publication Date
WO2013069360A1 true WO2013069360A1 (ja) 2013-05-16

Family

ID=48289746

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/072202 WO2013069360A1 (ja) 2011-11-09 2012-08-31 情報処理装置、表示制御方法、およびプログラム

Country Status (5)

Country Link
US (2) US9569895B2 (ja)
EP (1) EP2779113B1 (ja)
JP (1) JP2013101528A (ja)
CN (1) CN103907138B (ja)
WO (1) WO2013069360A1 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US9613424B2 (en) * 2013-09-23 2017-04-04 Beihang University Method of constructing 3D clothing model based on a single image
JP6341646B2 (ja) * 2013-10-17 2018-06-13 セーレン株式会社 試着支援装置及び方法
US10256859B2 (en) 2014-10-24 2019-04-09 Usens, Inc. System and method for immersive and interactive multimedia generation
CN106062862B (zh) 2014-10-24 2020-04-21 杭州凌感科技有限公司 用于沉浸式和交互式多媒体生成的系统和方法
US9979890B2 (en) 2015-04-23 2018-05-22 Apple Inc. Digital viewfinder user interface for multiple cameras
JP2017010251A (ja) * 2015-06-22 2017-01-12 富士フイルム株式会社 画像抽出装置、画像抽出方法、プログラムおよび記録媒体
WO2017077751A1 (ja) * 2015-11-04 2017-05-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
CN107742300A (zh) * 2017-09-11 2018-02-27 广东欧珀移动通信有限公司 图像处理方法、装置、电子装置和计算机可读存储介质
WO2019047982A1 (zh) 2017-09-11 2019-03-14 Oppo广东移动通信有限公司 图像处理方法、装置、电子装置和计算机可读存储介质
CN107610134B (zh) * 2017-09-11 2020-03-31 Oppo广东移动通信有限公司 提醒方法、装置、电子装置和计算机可读存储介质
CN107610127B (zh) * 2017-09-11 2020-04-03 Oppo广东移动通信有限公司 图像处理方法、装置、电子装置和计算机可读存储介质
JP2019061590A (ja) * 2017-09-28 2019-04-18 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
CN108040892A (zh) * 2017-12-07 2018-05-18 吴静 一种基于压力检测的智能宠物排泄物收集系统
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
DK180078B1 (en) 2018-05-07 2020-03-31 Apple Inc. USER INTERFACE FOR AVATAR CREATION
JP7285291B2 (ja) * 2018-05-07 2023-06-01 アップル インコーポレイテッド クリエイティブカメラ
KR102357342B1 (ko) * 2018-05-07 2022-02-08 애플 인크. 크리에이티브 카메라
JP7073238B2 (ja) * 2018-05-07 2022-05-23 アップル インコーポレイテッド クリエイティブカメラ
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11722764B2 (en) * 2018-05-07 2023-08-08 Apple Inc. Creative camera
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) * 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
CN111325798B (zh) * 2018-12-13 2023-08-18 浙江宇视科技有限公司 相机模型纠正方法、装置、ar实现设备及可读存储介质
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
JP6559375B1 (ja) 2019-03-28 2019-08-14 株式会社ドワンゴ コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
DK181103B1 (en) 2020-05-11 2022-12-15 Apple Inc User interfaces related to time
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
CN113760088A (zh) * 2020-06-04 2021-12-07 史克威尔·艾尼克斯有限公司 增强现实显示装置以及记录介质
WO2022044124A1 (ja) * 2020-08-25 2022-03-03 マクセル株式会社 ３次元仮想現実表示装置、ヘッドマウントディスプレイ、および３次元仮想現実表示方法
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
JP2022081271A (ja) * 2020-11-19 2022-05-31 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成方法、およびプログラム
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11961537B2 (en) * 2021-04-30 2024-04-16 Lemon Inc. Content creation based on rhythm
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US12112024B2 (en) 2021-06-01 2024-10-08 Apple Inc. User interfaces for managing media styles
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000341721A (ja) * 1999-03-25 2000-12-08 Mr System Kenkyusho:Kk 奥行き画像計測装置、視差画像計測装置、複合現実感提示システム、奥行き画像計測方法、複合現実感提示方法、およびプログラムの記憶媒体
JP2002024319A (ja) * 2000-07-04 2002-01-25 Toyobo Co Ltd 試着画像作成システム
JP2004145448A (ja) * 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
JP2006304331A (ja) 2006-05-25 2006-11-02 Sony Corp 試着画像生成装置及び試着画像生成方法、試着画像利用端末及び試着画像利用方法、並びにコンピュータ・プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7663648B1 (en) * 1999-11-12 2010-02-16 My Virtual Model Inc. System and method for displaying selected garments on a computer-simulated mannequin
US7953648B2 (en) * 2001-11-26 2011-05-31 Vock Curtis A System and methods for generating virtual clothing experiences
JP4246516B2 (ja) * 2003-02-14 2009-04-02 独立行政法人科学技術振興機構 人物動画像生成システム
JP4933406B2 (ja) * 2007-11-15 2012-05-16 キヤノン株式会社 画像処理装置、画像処理方法
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
KR101640039B1 (ko) * 2009-09-22 2016-07-18 삼성전자주식회사 영상 처리 장치 및 방법
EP2403234A1 (en) * 2010-06-29 2012-01-04 Koninklijke Philips Electronics N.V. Method and system for constructing a compound image from data obtained by an array of image capturing devices
JP5574852B2 (ja) * 2010-06-30 2014-08-20 キヤノン株式会社 情報処理装置、情報処理方法、システム及びプログラム
CN102004860B (zh) * 2010-12-02 2013-01-16 天津市企商科技发展有限公司 网络真人试衣系统及其控制方法
CN102156810A (zh) * 2011-03-30 2011-08-17 北京触角科技有限公司 增强现实实时虚拟试衣系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000341721A (ja) * 1999-03-25 2000-12-08 Mr System Kenkyusho:Kk 奥行き画像計測装置、視差画像計測装置、複合現実感提示システム、奥行き画像計測方法、複合現実感提示方法、およびプログラムの記憶媒体
JP2002024319A (ja) * 2000-07-04 2002-01-25 Toyobo Co Ltd 試着画像作成システム
JP2004145448A (ja) * 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
JP2006304331A (ja) 2006-05-25 2006-11-02 Sony Corp 試着画像生成装置及び試着画像生成方法、試着画像利用端末及び試着画像利用方法、並びにコンピュータ・プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2779113A4

Also Published As

Publication number Publication date
EP2779113A1 (en) 2014-09-17
EP2779113A4 (en) 2016-01-27
US20170148220A1 (en) 2017-05-25
CN103907138A (zh) 2014-07-02
US20140300635A1 (en) 2014-10-09
EP2779113B1 (en) 2022-11-02
JP2013101528A (ja) 2013-05-23
US9569895B2 (en) 2017-02-14
US9865094B2 (en) 2018-01-09
CN103907138B (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
WO2013069360A1 (ja) 情報処理装置、表示制御方法、およびプログラム
JP5845830B2 (ja) 情報処理装置、表示制御方法、およびプログラム
US9286722B2 (en) Information processing apparatus, display control method, and program
JP2013101526A (ja) 情報処理装置、表示制御方法、およびプログラム
US11308347B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
JP2019510297A (ja) ユーザの真実の人体モデルへの仮想的な試着
US10360444B2 (en) Image processing apparatus, method and storage medium
US9779699B2 (en) Image processing device, image processing method, computer readable medium
CN111199583B (zh) 一种虚拟内容显示方法、装置、终端设备及存储介质
US20150269759A1 (en) Image processing apparatus, image processing system, and image processing method
US20210407213A1 (en) Augmented reality eyewear with 3d costumes
JP2015114905A (ja) 情報処理装置、情報処理方法およびプログラム
JP2016071645A (ja) オブジェクト３次元モデル復元方法、装置およびプログラム
JP2022105594A (ja) 処理装置、検出装置、システム及びプログラム
JP5597087B2 (ja) 仮想物体操作装置
WO2017163648A1 (ja) 頭部装着装置
JP2015212891A (ja) 画像処理装置及び画像処理装置の制御方法
JPWO2020026677A1 (ja) 検出装置、処理装置、検出方法、及び処理プログラム
Plopski et al. Tracking systems: Calibration, hardware, and peripherals
Nakamura et al. A Mutual Motion Capture System for Face-to-face Collaboration.
Hayashi et al. AteGau: Projector-based online fashion coordination system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12847810

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012847810

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14356008

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE