WO2021039856A1 - 情報処理装置、表示制御方法および表示制御プログラム - Google Patents

情報処理装置、表示制御方法および表示制御プログラム Download PDF

Info

Publication number
WO2021039856A1
WO2021039856A1 PCT/JP2020/032224 JP2020032224W WO2021039856A1 WO 2021039856 A1 WO2021039856 A1 WO 2021039856A1 JP 2020032224 W JP2020032224 W JP 2020032224W WO 2021039856 A1 WO2021039856 A1 WO 2021039856A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional image
image data
virtual object
display
subject
Prior art date
Application number
PCT/JP2020/032224
Other languages
English (en)
French (fr)
Inventor
彩乃 鳥巣
敦 小野沢
Original Assignee
株式会社Ｓａｌｌｙ１２７
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｓａｌｌｙ１２７ filed Critical 株式会社Ｓａｌｌｙ１２７
Publication of WO2021039856A1 publication Critical patent/WO2021039856A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position

Definitions

  • the present invention relates to an information processing device, a display control method, and a display control program.
  • the purpose is to provide an information processing device, a display control method, and a display control program that can enhance the wearing feeling and promote purchasing.
  • the information processing apparatus detects a display means for displaying the captured two-dimensional image and a predetermined subject that changes in time series from the captured two-dimensional image.
  • Means a storage means for storing the three-dimensional image data of the virtual object to be displayed, and an instruction means for instructing the display posture to display the three-dimensional image data of the virtual object stored in the storage means on the display means.
  • an instruction means for instructing the display posture to display the three-dimensional image data of the virtual object stored in the storage means on the display means.
  • the display control means for displaying the priority area with priority over the two-dimensional image of the subject and hiding the non-priority area is provided.
  • FIG. 1 is a diagram illustrating an overall configuration example of the system according to the first embodiment.
  • FIG. 2 is a diagram illustrating a usage scene of the system according to the first embodiment.
  • FIG. 3 is a functional block diagram showing a functional configuration of the product server according to the first embodiment.
  • FIG. 4 is a diagram showing an example of information stored in the product information DB.
  • FIG. 5 is a diagram showing an example of information stored in the image data DB.
  • FIG. 6 is a diagram for explaining the transition of the displayed Web page.
  • FIG. 7 is a diagram illustrating an example of generating two-dimensional image data of a virtual object.
  • FIG. 8 is a diagram illustrating the generated two-dimensional image data.
  • FIG. 9 is a diagram illustrating a fitting image.
  • FIG. 1 is a diagram illustrating an overall configuration example of the system according to the first embodiment.
  • FIG. 2 is a diagram illustrating a usage scene of the system according to the first embodiment.
  • FIG. 3 is a functional
  • FIG. 10 is a diagram illustrating a configuration of fitting a virtual object.
  • FIG. 11 is a diagram illustrating a transition of fitting.
  • FIG. 12 is a diagram illustrating another example of fitting.
  • FIG. 13 is a sequence diagram showing the flow of the fitting process.
  • FIG. 14 is a diagram illustrating a hardware configuration example.
  • FIG. 1 is a diagram illustrating an overall configuration example of the system according to the first embodiment.
  • the product server 10 and the user terminal 30 are connected to each other so as to be able to communicate with each other via the network N.
  • the number of product servers 10 and user terminals 30 is an example, and is not limited to the one shown in the figure.
  • the network N various communication networks such as the Internet and a dedicated line can be adopted regardless of whether they are wired or wireless.
  • the product server 10 is an example of a server device that provides various services such as viewing, fitting, and purchasing products to the user terminal 30. For example, when the product server 10 receives access from the user terminal 5 via a Web browser or the like, the product server 10 displays a product site on which information on various products is posted. Then, the product server 10 provides various services according to each page displayed by the Web browser.
  • the user terminal 30 is an example of a terminal device used by a user who is considering purchasing clothing such as a ring or a scarf, and is, for example, a terminal device having an imaging unit such as a camera or a Web browser.
  • a smartphone, a mobile phone, a tablet, a personal computer, or the like can be adopted as the user terminal 30.
  • the user terminal 30 accesses the product server 10 by using a Web browser or the like, and uses various services provided by the product server 10.
  • the user terminal 30 acquires information about the product from the product server 10 and executes the fitting service on the Web browser.
  • the product server 10 stores product information, which is information about the product such as the price and size of the product such as a ring, and three-dimensional image data of the product. Then, when the product server 10 receives access from the user terminal 30, the product server 10 displays the product site on which the product information is posted on the user terminal 30. Subsequently, when the product server 10 receives the selection of the product to be tried on from the user terminal 30 on the Web browser that displays the product site, the product server 10 displays the fitting page incorporating the three-dimensional image data of the product and the control script. Respond to the user terminal 30.
  • the user tries on the product on the user terminal 30 by using the fitting page in which the three-dimensional image data of the product to be tried on and the control script are incorporated.
  • the user terminal 30 displays an image of a subject (for example, a hand) taken by a camera on a fitting page displayed by a Web browser.
  • the user terminal 30 generates 2D image data from the 3D image data of the product, and superimposes the 2D image data on the image of the subject on the Web browser to realize the fitting.
  • FIG. 2 is a diagram illustrating a usage scene of the system according to the first embodiment.
  • the user acquires the fitting page incorporating the three-dimensional image data of the product and the script for control from the product server 10, so that the fitting service can be performed not only online but also offline. Can be used.
  • the ring fitting service it is possible to use the ring fitting service while performing wireless communication in the living room at home.
  • the fitting service provided by the product server 10 it is possible to repeatedly try on engagement rings of various brands in the living room, and purchase them before going to the store. You can also narrow down the target. You can also use the ring fitting service on the train on your way to work.
  • the fitting service provided by the product server 10 does not need to go to an actual store and can be used by using a Web browser, so that it can be used in various places to select a place. ..
  • FIG. 3 is a functional block diagram showing a functional configuration of the system according to the first embodiment.
  • each of the product server 10 and the user terminal 30 will be described.
  • the product server 10 includes a communication unit 11, a storage unit 12, and a control unit 20.
  • the communication unit 11 is a processing unit that controls communication with other devices, such as a communication interface.
  • the communication unit 11 establishes a session with the user terminal 30 by a Web browser, and executes data transmission / reception via the Web browser.
  • the storage unit 12 is an example of a storage device that stores various data and various programs executed by the control unit 20, such as a memory and a hard disk.
  • the storage unit 12 stores the product information DB 13 and the image data DB 14.
  • the product information DB 13 is a database that stores data related to each product handled by the product server 10. Specifically, the product information DB 13 stores data related to each clothing item.
  • FIG. 4 is a diagram showing an example of information stored in the product information DB 13. As shown in FIG. 4, the product information DB 13 stores "product ID, product, price" and the like in association with each other.
  • the "product ID” stored here is an identifier that identifies the product, the "product” is the product name, etc., and the “price” is the price of the product. In the example of FIG. 4, it is shown that the price of the product "ring A" identified by the product ID "ID01" is "30,000 yen”.
  • the image data DB 14 is a database that stores three-dimensional image data of each product (hereinafter, may be simply referred to as "three-dimensional image data"). Specifically, the image data DB 14 stores three-dimensional image data transmitted as a virtual object to the user terminal 30 when the fitting service is used.
  • FIG. 5 is a diagram showing an example of information stored in the image data DB 14.
  • the image data DB 14 stores the “product ID, product, and three-dimensional image data” in association with each other.
  • the "product ID” stored here is the same as the product ID of the product information DB 13, and is an identifier that identifies the product.
  • the “product” is the same as the product in the product information DB 13, and is a product name or the like.
  • the "three-dimensional image data” is the three-dimensional image data of the product. In the example of FIG. 5, it is shown that the image data “three-dimensional image data A” is associated with the product “ring A” identified by the product ID “ID01”.
  • the three-dimensional image data can be created from the data obtained by capturing the image of the product itself, created in a virtual space, or created by using a known method.
  • the control unit 20 is a processing unit that controls the entire product server 10, such as a processor.
  • the control unit 20 has a reception unit 21 and a response unit 22.
  • the reception unit 21 and the response unit 22 are examples of electronic circuits included in the processor and examples of processes executed by the processor.
  • the control unit 20 also executes an authentication process for authenticating whether or not the accessing user is a legitimate user, a product purchase process that is executed when the user indicates an intention to purchase, and the like. Since it is a typical process, detailed description will be omitted.
  • the reception unit 21 is a processing unit that displays various Web pages on the user terminal 30 in response to a request from the user terminal 30 and accepts various operations from the user terminal 30. Specifically, when the reception unit 21 receives access from the user terminal 30 using a Web browser or the like, the reception unit 21 displays the product site on the user terminal 30. Then, when the reception unit 21 accepts the selection of the product on the product site, the reception unit 21 displays the product page on which the detailed information of the product is posted on the user terminal 30. In this way, the reception unit 21 displays a Web page or the like corresponding to the user's operation.
  • the response unit 22 is a processing unit that responds to the user terminal 30 with various information for providing a fitting service when a product fitting request is received from the user terminal 30. Specifically, the response unit 22 acquires the three-dimensional image data of the product for which the fitting is requested from the image data DB 14 when the user selects the fitting on the product page displayed by the reception unit 21. Then, the response unit 23 responds to the user terminal 30 with a fitting page incorporating the three-dimensional image data of the product used as a virtual object and the control script related to the operation of the three-dimensional image data of the product.
  • FIG. 6 is a diagram for explaining the transition of the displayed Web page.
  • the reception unit 21 when the reception unit 21 receives access from the user terminal 30, the reception unit 21 displays the product site 60 on which each product is posted on the user terminal 30. A slider or the like for scrolling the screen is also displayed on the product site 60.
  • the reception unit 21 provides detailed information of the selected product “ring A” to the product information DB13.
  • the product page 61 on which the detailed information of the product “ring A” is posted is displayed on the user terminal 30.
  • the product page 61 also displays a "back” button for returning to the previous screen, a "purchase” button for proceeding with the purchase of the product, a "try-on” button for proceeding with the fitting of the product, and the like.
  • the response unit 22 displays the three-dimensional image data A of the displayed product "ring A” as image data.
  • the various processes executed by the control script provide the functions of the various processing units described in the user terminal 30.
  • the fitting page 62 includes an area to be photographed by the camera in cooperation with the camera of the user terminal 30 that displays the fitting page 62 on the display, and a virtual object of the product “ring A” is displayed in the area. To.
  • the fitting page 62 also displays a "back” button for returning to the previous screen, a "purchase” button for proceeding with the purchase of the product, and the like.
  • the user terminal 30 includes a communication unit 31, an imaging unit 32, a storage unit 33, and a control unit 40.
  • the communication unit 31 is a processing unit that controls communication with other devices, such as a communication interface. For example, the communication unit 31 establishes a session with the product server 10 by a Web browser, and executes data transmission / reception via the Web browser.
  • the imaging unit 32 is a processing unit that acquires two-dimensional image data such as an image or video image captured by using a camera or the like. For example, the imaging unit 32 images the hand, face, body, and the like of the user who is trying on, and outputs the captured image data to the control unit 40.
  • the storage unit 33 is an example of a storage device that stores various data and various programs executed by the control unit 40, and is, for example, a memory or a hard disk.
  • the storage unit 33 stores the three-dimensional image data of the product received from the product server 10, the image data captured by the image pickup unit 32, and the like.
  • the control unit 40 is a processing unit that controls the entire user terminal 30, such as a processor.
  • the control unit 40 has an access unit 41 and a fitting control unit 42.
  • the access unit 41 and the fitting control unit 42 are examples of electronic circuits included in the processor and examples of processes executed by the processor.
  • the access unit 41 is a processing unit that executes various controls using a Web browser with the product server 10. For example, the access unit 41 starts a Web browser and accesses the product server 10 by a user's instruction operation. Then, the access unit 41 displays the product site 60 and the product page 61 received from the product server 10 on a display or the like. Further, when the access unit 41 receives the fitting page 62 in which the three-dimensional image data of the product to be tried on and the script for control are incorporated, the access unit 41 displays the fitting page on a display or the like.
  • the fitting control unit 42 has a two-dimensional image generation unit 43 and a display control unit 44, and is a processing unit that executes a fitting service on the display of the user terminal 30. Specifically, when the fitting page 62 is acquired by the access unit 41, the fitting control unit 42 executes a control script incorporated in the fitting page 62 to execute the two-dimensional image generation unit 43 and the display control unit 44. By executing the processing by, the control using the virtual space that generates the 2D image data of the product to be tried on and the control that actually displays the 2D image data on the display are linked in real time. Run the fitting service.
  • the 2D image generation unit 43 is a processing unit that generates 2D image data of a virtual object used in the fitting service for each product. Specifically, the two-dimensional image generation unit 43 acquires the three-dimensional image data of the product transmitted by the product server 10 from the fitting page 62 acquired by the access unit 41. Then, the two-dimensional image generation unit 43 arranges the three-dimensional image data of the product as a virtual object in the three-dimensional virtual space simulated on the computer. Then, the two-dimensional image generation unit 43 uses a virtual camera arranged in the three-dimensional virtual space to image a virtual object of the product and generate two-dimensional image data. Further, the two-dimensional image generation unit 43 outputs the two-dimensional image data of the product obtained by photographing to the display control unit 44 or the like. It should be noted that known software or the like can be used for simulating a three-dimensional virtual space or a virtual camera.
  • FIG. 7 is a diagram illustrating an example of generating two-dimensional image data of a virtual object.
  • the figure shown in FIG. 7 is a top view of a three-dimensional virtual space that generates two-dimensional image data of a virtual object of a product, and is an object that becomes a product using a plurality of virtual cameras arranged in the virtual space.
  • the virtual camera 1 and the virtual camera 1' are installed at the same position in the virtual space.
  • a virtual object three-dimensional image data
  • the virtual object can be rotated in any direction.
  • the portion outside the area that can be photographed by each virtual camera is not reflected in the image of the virtual camera. Then, the virtual object is rotated, the virtual object is photographed by each virtual camera, and the captured images are combined to generate the two-dimensional image data of the virtual object.
  • the virtual camera 1 captures and visualizes the region from z ⁇ 10 to z ⁇ 100, and the region of z ⁇ 10 or z> 100 is not projected.
  • the images of the virtual camera 1 and the virtual camera 1' are output to the canvas elements on HTML (HyperText Markup Language), respectively, and displayed on the screen, so that the canvas and the virtual camera 1'that output the images of the virtual camera 1 are output. It is laid out so that the canvas that outputs the image of is displayed overlapping at the same position on the screen.
  • HTML HyperText Markup Language
  • the two-dimensional image generation unit 43 arranges the virtual object of the product selected as the fitting target on the simulated three-dimensional space, and combines the images taken by the two virtual cameras to form a two-dimensional image of the product. Generate data.
  • FIG. 8 is a diagram illustrating the generated two-dimensional image data. As shown in FIG. 8, the two-dimensional image generation unit 43 synthesizes the image obtained from the virtual camera 1 and the image obtained from the virtual camera 1'to generate one two-dimensional image data. Of the one two-dimensional image data, the area of the image (data) taken by the virtual camera 1 is the priority area that is always displayed with priority over the subject.
  • each virtual camera in the virtual space constantly images the virtual object in the virtual space and generates real-time two-dimensional image data of the virtual object which is three-dimensional image data.
  • the two-dimensional image generation unit 43 arranges a virtual object at a predetermined position on the virtual space in a predetermined default posture to generate two-dimensional image data.
  • the two-dimensional image generation unit 43 responds to the operation by the virtual object (three-dimensional image data) in the virtual space.
  • 2D image data is generated by changing the posture of. More specifically, when the 2D image generation unit 43 detects a flick operation on the 2D image data of the virtual object displayed on the fitting page 62, the 2D image generation unit 43 rotates the virtual object in the virtual space by the distance corresponding to the flick operation. Let me. Then, the two-dimensional image generation unit 43 takes a picture of the virtual object of the posture after rotation and generates the two-dimensional image data.
  • the display control unit 44 is a processing unit that executes various processes related to the display control of the fitting page 62 displayed on the display of the user terminal 30. Specifically, the display control unit 44 executes a display process for displaying two-dimensional image data of a virtual object, a detection process for detecting a subject to be tried on, a fitting process for trying on using the two-dimensional image data, and the like. ..
  • the display control unit 44 is a processing unit that displays the two-dimensional image data of the virtual object generated by the two-dimensional image generation unit 43 at a position designated in advance on the fitting page 62. That is, the display control unit 44 displays the two-dimensional image data generated by the two-dimensional image generation unit 43 at any time on the fitting page 62 displayed on the display in real time.
  • the display control unit 44 detects the subject from the image data captured by the camera or the like. For example, the display control unit 44 displays image data, which is a two-dimensional image acquired by the imaging unit 32 of the user terminal 30, on the fitting page 62, and detects a subject that changes in time series from the displayed image data. .. Specifically, the display control unit 44 uses various methods such as a specified color region such as the contour of the subject and skin color, and an region similar to a predetermined type from the image data captured by the camera. It is used to detect a subject such as a hand.
  • the display control unit 44 can determine only pixels that match a predetermined reference color as a subject. Specifically, the display control unit 44 holds in advance a range of RGB values (pixel values) to be detected. Then, the display control unit 44 refers to each pixel of the captured image data and determines whether or not it is within the range of the RGB value to be detected. Then, the display control unit 44 determines each pixel determined to be within the range of the RGB value to be detected as a subject.
  • the display control unit 44 accepts the user's selection on the captured image data. Then, the display control unit 44 determines a predetermined range as the detection target with the RGB value of the selected pixel as the median value. After that, the display control unit 44 refers to each pixel of the captured image data, and determines each pixel within the range of the RGB value to be detected as a subject. In this way, the display control unit 44 can detect the contour of the subject (for example, the hand) by referring to each pixel of the image data.
  • the predetermined range and the like can be arbitrarily changed.
  • the display control unit 44 detects features from image data, compares the degree of similarity with the features of a predetermined subject, and sets similar parts as the subject. You can also judge.
  • the display control unit 44 includes a method characterized by a pattern of arrangement of light and dark differences between pixels (Haar Like feature), a method characterized by a distribution of brightness between pixels (Local Binary Pattern feature), and brightness. It is possible to use a method (Histogram of Oriented Gradients feature) characterized by a combination of directions (how to add gradation in image data).
  • the display control unit 44 can compare images in chronological order and detect a region with subtraction as a subject. Specifically, the display control unit 44 sequentially acquires image data from the image pickup unit 32, for example, every second. Then, the display control unit 44 can compare the front and rear image data, and determine that the region in the image data that has moved is the subject.
  • the display control unit 44 displays the two-dimensional image data of the virtual object generated by the two-dimensional image generation unit 43 and the subject detected from the image data captured in real time by a camera or the like on the fitting page 62. Display and try on the virtual object.
  • the display control unit 44 displays the two-dimensional image data corresponding to the product at a predetermined display position together with the image data of the subject that is recognized at any time from the captured image data. Then, when the display of the displayed subject and the display of the two-dimensional image data overlap, the display control unit 44 determines that the two-dimensional image data captured by the virtual camera 1 that is preferentially displayed in the overlapped area. The area is displayed with priority given to the subject, and the other areas of the two-dimensional image data are hidden.
  • FIG. 9 is a diagram illustrating a fitting image.
  • the display control unit 44 of the user terminal 30 displays the two-dimensional image data Q of the ring A generated by the two-dimensional image generation unit 43 on the fitting page 62 displayed on the display.
  • the display control unit 44 detects the user's hand as the subject and displays it on the fitting page 62.
  • the display control unit 44 detects the user's finger from each image data taken in time series at any time and displays it on the fitting page 62.
  • the user tries on the fitting by putting a ring (two-dimensional image data Q) on the finger on the fitting page 62 while taking a picture of the hand with the camera.
  • FIG. 10 is a diagram illustrating a configuration of fitting of two-dimensional image data corresponding to a product.
  • the display control unit 44 cuts out an image (layer 2) showing an area of only the detected subject (hand) from the image (layer 3) of the real object taken by the user terminal 30. Then, the display control unit 44 sets the image of layer 1'that is not preferentially displayed among the two-dimensional image data of the virtual object of the product generated by the two-dimensional image generation unit 43, and the subject (hand) cut out from layer 3. An image showing only the area (layer 2) and an image of layer 1 which is preferentially displayed among the two-dimensional image data corresponding to the product are superimposed in order and projected on one screen.
  • the display control unit 44 controls the layer 1', the layer 2, and the layer 1 so that the lower layer is displayed even if each layer is overlapped by making the area other than the object to be displayed and the hand transparent. To do. Further, the display control unit 44 can display a background when the hand is being photographed by the camera as the background of the fitting page 62, or can display another background prepared in advance.
  • FIG. 11 is a diagram illustrating a transition of fitting.
  • the fitting control unit 42 describes the two-dimensional image data of the ring A in which the image of layer 1 and the image of layer 1'are combined (in the description of FIG. 11, it is simply referred to as ring A).
  • the fitting page 62 in which (may be) is displayed in a predetermined area, the image captured by the camera of the user terminal 30 is displayed, and the hand as the subject is detected.
  • the fitting control unit 42 is the portion of the layer 1'of the ring A. Display with priority given to hands. As a result, the user's finger is displayed on the layer 1'part of the ring A.
  • the fitting control unit 42 is the portion of the layer 1'of the ring A.
  • the hand is displayed with priority given to the hand, and the layer 1 portion of the ring A is displayed with priority given to the hand.
  • the fitting control unit 42 can display the ring A as if it were worn on the finger. Since the fitting control unit 42 hides only the portion of the layer 1'of the ring A that overlaps with the finger, the size of the hidden region changes depending on the thickness of the finger and the like. Therefore, it is possible to provide a wearing feeling suitable for each finger of each user.
  • FIG. 12 is a diagram illustrating another example of fitting.
  • the display control unit 44 of the user terminal 30 displays a slider A for rotating the ring in the horizontal direction and a slider B for rotating the ring in the vertical direction on the fitting page 62.
  • the ring can be turned in various directions.
  • the display control unit 44 detects the operation direction and the operation distance and outputs the output to the two-dimensional image generation unit 43.
  • the two-dimensional image generation unit 43 changes the posture of the virtual object arranged in the virtual space according to the input operation direction and operation distance, shoots the virtual object with the changed posture, and obtains the two-dimensional image data. Generate. Then, the display control unit 44 displays the new two-dimensional image data on the fitting page 62.
  • the user operation of the fitting page 62 can be notified to the virtual space in real time to dynamically change the posture of the virtual object, so that the user is as if the product is moving on the fitting page 62.
  • the operation such as rotation of the ring is not limited to the slider, and a flick operation with the ring selected can be adopted.
  • the fitting control unit 42 of the user terminal 30 provides fitting viewed from the side by detecting the user's hand with the ring turned sideways. Here, too, the fitting control unit 42 displays the layer 1 portion of the ring with priority over the hand, and displays the layer 1 portion of the ring with priority over the hand.
  • the fitting control unit 42 detects the user's hand with the ring on the back side, that is, with the ring on the palm side visible, and provides fitting as seen from the back side.
  • the fitting control unit 42 displays the layer 1 portion of the ring with priority over the hand, and displays the layer 1 portion of the ring with priority over the hand.
  • the position of the image of the layer is opposite to that of the normal time, but the image of layer 1 is always prioritized and the image of layer 1'is not always prioritized. Similarly, it is possible to provide a virtually correctly attached image.
  • the two-dimensional image generation unit 43 can also generate two-dimensional image data in which the posture and orientation of the ring are changed by flicking the displayed ring or the like. Further, by flicking an arbitrary area of the display, it is possible to generate two-dimensional image data in which the posture of the ring or the like is changed according to the direction of the operated flick. Further, the ring displayed on the fitting page 62 can be enlarged or reduced by the two-dimensional image generation unit 43 enlarging or reducing the two-dimensional image data in response to a double-click or a pinch-out operation.
  • FIG. 13 is a sequence diagram showing the flow of the fitting process.
  • the access unit 41 of the user terminal 30 accesses the site of the product server 10 by a user operation using a Web browser (S101 and S102).
  • the reception unit 21 of the product server 10 displays the product site 60 on which each product is posted on the user terminal 30 (S103 and S104).
  • the reception unit 21 of the product server 10 displays the product page 61 of the selected product on the user terminal 30 (S107). And S108).
  • the response unit 23 of the product server 10 transfers the three-dimensional image data of the selected product and the control script.
  • the incorporated fitting page 62 responds to the user terminal 30 (S111 and S112).
  • the fitting control unit 42 of the user terminal 30 acquires the fitting page 62 (S113)
  • the fitting control unit 42 generates the two-dimensional image data corresponding to the product by using the three-dimensional image data included in the fitting page 62. (S114).
  • the fitting control unit 42 of the user terminal 30 displays the fitting page 62 displaying the two-dimensional image data of the product on a display or the like by using the control script transmitted from the product server 10 (S115).
  • the fitting control unit 42 of the user terminal 30 executes a hand imaging (S116), an operation of rotating the two-dimensional image data of the product (S117), a fitting confirmation of the product (S118), and the like to perform a fitting service. To execute.
  • the user terminal 30 can execute the product fitting service at any place and time. Further, the user terminal 30 can dynamically control the part of the two-dimensional image data corresponding to the product to be hidden according to the size of each user's finger, so that it is the same as the actual ring wearing. It is possible to provide such a feeling of wearing. As a result, the user terminal 30 can enhance the wearing feeling in the fitting service and promote the purchase.
  • the ring has been described as an example, but the present invention is not limited to this.
  • clothing such as scarves, bracelets, anklets, earrings, earrings, watches and hats can be processed in the same way.
  • a product such as clothes in which the entire user is photographed and tried on.
  • not only humans but also pet clothes and accessories can be adopted.
  • the data example, numerical example, display example, etc. used in the above embodiment are merely examples and can be arbitrarily changed.
  • the configuration of various Web pages is an example, and can be arbitrarily changed.
  • the subject is not limited to fingers, and the subject to be detected can be changed depending on the product, such as the neck when wearing a scarf and the wrist when wearing a watch.
  • the product server 10 and the fitting control unit 42 manage the product and the subject to be detected in association with each other, so that the detection target can be dynamically changed depending on the product to be tried on.
  • the fitting control unit 42 displays the two-dimensional image data of the ring on the fitting page 62 in a posture in which the finger cannot be worn, the finger (subject) recognized from each image data taken in time series. Using the recognition result of, the direction of the finger, the direction of movement, etc. are detected on the fitting page 62, the posture of the virtual object in the virtual space is corrected to the wearable posture, and then the two-dimensional image data is generated. , Can also be displayed on the fitting page 62. As a result, even if the posture of the ring (two-dimensional image data) is not correct by the user operation, it can be dynamically corrected to the posture that can be tried on.
  • the EC (Electronic Commerce) site for browsing, trying on, and purchasing products has been described as an example, but the present invention is not limited to this.
  • the present invention is not limited to this.
  • by generating three-dimensional image data as a virtual object at the design stage before making a prototype or an actual product it is possible to provide a service equivalent to the above fitting service.
  • it is possible to modify the design and consult before mass-producing the product so that unnecessary costs can be reduced and the manufacturing process can be made more efficient.
  • the product server 10 has a user terminal 30 and a processing unit equivalent to the fitting control unit 42, and provides a fitting service to the user terminal 30 by using a Web browser. Further, the user terminal 30 can also acquire the three-dimensional image data of the product from the product server 10 and execute the fitting service by using the Web browser in which the control script is already incorporated.
  • the present invention is not limited to this, and the three-dimensional image data of each of the plurality of products is acquired by the product server. It can also be obtained from 10.
  • the user terminal 30 selects three rings to be tried on and acquires each three-dimensional image data from the product server 10.
  • the user terminal 30 can switch the target product and execute the fitting service according to the instruction operation of the user.
  • each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific forms of distribution and integration of each device are not limited to those shown in the figure. That is, all or a part thereof can be functionally or physically distributed / integrated in any unit according to various loads, usage conditions, and the like. For example, object generation, fitting service, product management, etc. can be realized on separate servers.
  • each processing function performed by each device can be realized by a CPU and a program analyzed and executed by the CPU, or can be realized as hardware by wired logic.
  • FIG. 14 is a diagram illustrating a hardware configuration example. Since the product server 10 and the user terminal 30 have the same hardware configuration, the computer 100 will be described here. As shown in FIG. 14, the computer 100 includes a communication device 100a, an HDD (Hard Disk Drive) 100b, a memory 100c, and a processor 100d. Further, the parts shown in FIG. 14 are connected to each other by a bus or the like.
  • a communication device 100a As shown in FIG. 14, the computer 100 includes a communication device 100a, an HDD (Hard Disk Drive) 100b, a memory 100c, and a processor 100d. Further, the parts shown in FIG. 14 are connected to each other by a bus or the like.
  • HDD Hard Disk Drive
  • the communication device 100a is a network interface card or the like, and communicates with other devices.
  • the HDD 100b stores a program and a DB that operate the functions shown in FIG.
  • the processor 100d reads a program that executes the same processing as each processing unit shown in FIG. 3 from the HDD 10b or the like and expands it in the memory 10c to operate a process that executes each function described in FIG. 3 or the like. For example, taking the user terminal 30 as an example, this process executes the same functions as each processing unit of the user terminal 30. Specifically, the processor 10d reads a program having the same functions as the access unit 41 and the fitting control unit 42 and the like from the HDD 10b and the like. Then, the processor 10d executes a process of executing the same processing as the access unit 41 and the fitting control unit 42 and the like.
  • the computer 100 operates as an information processing device that executes the fitting control method by reading and executing the program. Further, the computer 100 can realize the same function as that of the above-described embodiment by reading the program from the recording medium by the medium reading device and executing the read program.
  • the program referred to in the other embodiment is not limited to being executed by the computer 100.
  • the present invention can be similarly applied when another computer or server executes a program, or when they execute a program in cooperation with each other.

Abstract

ユーザ端末は、撮影された２次元画像を表示し、２次元画像の中から、時系列的に変化する予め決められた被写体を検出する。ユーザ端末は、表示すべき仮想オブジェクトの３次元画像データを表示する表示姿勢を指示する。ユーザ端末は、指示された仮想オブジェクトの３次元データの表示姿勢に基づき表示される仮想オブジェクトの２次元画像データのうち、優先的に表示する優先領域と優先領域以外の非優先領域とを決定する。ユーザ端末は、予め決められた表示位置に仮想オブジェクトの２次元画像データの優先領域および非優先領域とともに被写体の２次元画像を表示するとともに、少なくとも表示されている被写体の２次元画像と仮想オブジェクトの２次元画像データの表示が重なったときに、当該重なった領域における優先領域と非優先領域のうち、優先領域を被写体の２次元画像に優先して表示するとともに、非優先領域を非表示とする。

Description

情報処理装置、表示制御方法および表示制御プログラム
　本発明は、情報処理装置、表示制御方法および表示制御プログラムに関する。
　近年、仮想試着などのサービスが利用されている。例えば、店舗内に鏡に見立てた大型ディスプレイを置き、その大型ディスプレイにカメラで撮像した試着者の映像を写し、洋服の画像データを試着者の映像に重畳させることで、あたかも試着しているように見せるシステムが知られている。また、被写体の身体の骨格位置の時系列変化を算出し、被写体に重畳して表示される仮想的な服飾品の着脱を制御する技術が知られている。
特開２０１３－９７６９９号公報 特開２００６－７２６６９号公報 特開２０１３－１０１５２７号公報 特開２０１０－１５２５５６号公報
　しかしながら、上記技術では、現実の試着と仮想的な試着との感覚の違いが大きいので、満足な装着感を得られるとは言い難く、購買を促進する有効な手法とは言い難い。
　特に、指輪やピアスなどの小さな服飾品の場合、服飾品を付けた状態と服飾品を外した状態とを繰り返して、装着感を確認することが多いが、店舗内の大型ディスプレイでは、小さな服飾品の仮想試着は却って見づらく、有効的とは言い難い。また、わざわざ店舗に行って順番等を待って仮想試着を行うことも、ユーザの負担が大きく、有効な手法とは言い難い。
　一つの側面では、装着感を高めて購買を促進することができる情報処理装置、表示制御方法および表示制御プログラムを提供することを目的とする。
　第１の案では、情報処理装置は、撮影された２次元画像を表示する表示手段と、前記撮影された２次元画像の中から、時系列的に変化する予め決められた被写体を検出する検出手段と、表示すべき仮想オブジェクトの３次元画像データを記憶する記憶手段と、前記記憶手段に記憶された前記仮想オブジェクトの３次元画像データを前記表示手段に表示する表示姿勢を指示する指示手段と、前記指示手段により指示された前記仮想オブジェクトの３次元データの表示姿勢に基づき前記表示手段に表示される前記仮想オブジェクトの２次元画像データのうち、優先的に表示する優先領域と前記優先領域以外の非優先領域とを決定する決定手段と、前記表示手段の予め決められた表示位置に前記仮想オブジェクトの２次元画像データの前記優先領域および前記非優先領域とともに前記撮影された前記被写体の２次元画像を表示するとともに、少なくとも前記表示手段に表示されている前記被写体の２次元画像と前記仮想オブジェクトの２次元画像データの表示が重なったときに、当該重なった領域における前記優先領域と前記非優先領域のうち、前記優先領域を前記被写体の２次元画像に優先して表示するとともに、前記非優先領域を非表示とする表示制御手段と、を備える。
　一つの側面では、装着感を高めて購買を促進することができる。
図１は、実施例１にかかるシステムの全体構成例を説明する図である。 図２は、実施例１にかかるシステムの利用シーンを説明する図である。 図３は、実施例１にかかる商品サーバの機能構成を示す機能ブロック図である。 図４は、商品情報ＤＢに記憶される情報の例を示す図である。 図５は、画像データＤＢに記憶される情報の例を示す図である。 図６は、表示されるＷｅｂページの遷移を説明する図である。 図７は、仮想オブジェクトの２次元画像データを生成する例を説明する図である。 図８は、生成される２次元画像データを説明する図である。 図９は、試着イメージを説明する図である。 図１０は、仮想オブジェクトの試着の構成を説明する図である。 図１１は、試着の遷移を説明する図である。 図１２は、試着の別例を説明する図である。 図１３は、試着処理の流れを示すシーケンス図である。 図１４は、ハードウェア構成例を説明する図である。
　以下に、本願の開示する情報処理装置、表示制御方法および表示制御プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
［システム構成］
　図１は、実施例１にかかるシステムの全体構成例を説明する図である。図１に示すように、このシステムは、商品サーバ１０とユーザ端末３０とがネットワークＮを介して相互に通信可能に接続される。なお、商品サーバ１０やユーザ端末３０の数は、一例であり、図示したもの限定されない。また、ネットワークＮには、有線や無線を問わず、インターネットや専用線などの各種通信網を採用することができる。
　商品サーバ１０は、ユーザ端末３０に対して、商品の閲覧、試着、購入などの各種サービスを提供するサーバ装置の一例である。例えば、商品サーバ１０は、Ｗｅｂブラウザなどを介してユーザ端末５からのアクセスを受け付けると、各種商品の情報が掲載される商品サイトを表示する。そして、商品サーバ１０は、Ｗｅｂブラウザにより表示される各ページによって各種サービスを提供する。
　ユーザ端末３０は、指輪やスカーフなどの服飾品の購入を検討するユーザが利用する端末装置の一例であり、例えばカメラなどの撮像部やＷｅｂブラウザなどを有する端末装置である。例えば、ユーザ端末３０としては、スマートフォン、携帯電話、タブレット、パーソナルコンピュータなどを採用することができる。このユーザ端末３０は、Ｗｅｂブラウザなどを用いて、商品サーバ１０へアクセスし、商品サーバ１０が提供する各種サービスを利用する。
　ここで、ユーザ端末３０は、商品サーバ１０から商品に関する情報を取得して、Ｗｅｂブラウザ上で試着サービスを実行する。具体的には、商品サーバ１０は、例えば指輪などの商品の値段やサイズなどの商品に関する情報である商品情報と、商品の３次元画像データとを保存する。そして、商品サーバ１０は、ユーザ端末３０からアクセスを受け付けると、商品情報が掲載される商品サイトをユーザ端末３０に表示する。続いて、商品サーバ１０は、商品サイトを表示するＷｅｂブラウザ上でユーザ端末３０から試着対象の商品の選択を受け付けると、当該商品の３次元画像データと制御用のスクリプトを組み込んだ試着ページを、ユーザ端末３０に応答する。
　このようにして、ユーザは、試着対象の商品の３次元画像データと制御スクリプトが組み込まれた試着ページを用いて、ユーザ端末３０上で商品の試着を行う。具体的には、ユーザ端末３０は、Ｗｅｂブラウザで表示する試着ページ上に、カメラにより撮影される被写体（例えば、手）の映像を表示させる。そして、ユーザ端末３０は、商品の３次元画像データから２次元画像データを生成し、Ｗｅｂブラウザ上で、２次元画像データをその被写体の映像に重畳することで、試着を実現する。
［利用シーン］
　次に、ユーザ端末３０を用いて実行される試着サービスの利用シーンを説明する。図２は、実施例１にかかるシステムの利用シーンを説明する図である。図２に示すように、ユーザは、商品サーバ１０から商品の３次元画像データと制御用のスクリプトを組み込んだ試着ページを取得することで、オンラインに限らず、オフラインの状態であっても試着サービスを利用することができる。
　例えば、図２に示すように、自宅のリビングで無線通信を行いながら、指輪の試着サービスを利用することができる。また、恋人同士で婚約指輪を検討する際に、商品サーバ１０が提供する試着サービスを利用することにより、様々なブランドの婚約指輪の試着をリビングで繰り返すことができ、店舗に行く前に、購入対象を絞り込むこともできる。また、通勤途中の電車の中で、指輪の試着サービスを利用することができる。
　このように、商品サーバ１０が提供する試着サービスは、実際の店舗に行く必要はなく、Ｗｅｂブラウザを用いて利用することができることから、場所を選ばすに、様々な場所で利用することができる。
［機能構成］
　次に、図３を用いて、図１に示した各装置の機能構成を説明する。図３は、実施例１にかかるシステムの機能構成を示す機能ブロック図である。ここでは、商品サーバ１０とユーザ端末３０のそれぞれについて説明する。
（商品サーバ１０の機能構成）
　図３に示すように、商品サーバ１０は、通信部１１、記憶部１２、制御部２０を有する。通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどである。例えば、通信部１１は、ユーザ端末３０との間で、Ｗｅｂブラウザによるセッションを確立し、Ｗｅｂブラウザを介してデータの送受信を実行する。
　記憶部１２は、各種データや制御部２０が実行する各種プログラムなどを記憶する記憶装置の一例であり、例えばメモリやハードディスクなどである。この記憶部１２は、商品情報ＤＢ１３、画像データＤＢ１４を記憶する。
　商品情報ＤＢ１３は、商品サーバ１０が取り扱う各商品に関するデータを記憶するデータベースである。具体的には、商品情報ＤＢ１３は、各服飾品に関するデータを記憶する。図４は、商品情報ＤＢ１３に記憶される情報の例を示す図である。図４に示すように、商品情報ＤＢ１３は、「商品ＩＤ、商品、価格」などを対応付けて記憶する。
　ここで記憶される「商品ＩＤ」は、商品を識別する識別子であり、「商品」は、商品名などであり、「価格」は、商品の価格である。図４の例では、商品ＩＤ「ＩＤ０１」で識別される商品「指輪Ａ」の価格が「３万円」であることを示す。
　画像データＤＢ１４は、各商品の３次元の画像データ（以下では単に「３次元画像データ」と記載する場合がある）を記憶するデータベースである。具体的には、画像データＤＢ１４は、試着サービスの利用時にユーザ端末３０に仮想オブジェクトとして送信される３次元画像データを記憶する。
　図５は、画像データＤＢ１４に記憶される情報の例を示す図である。図５に示すように、画像データＤＢ１４は、「商品ＩＤ、商品、３次元画像データ」を対応付けて記憶する。ここで記憶される「商品ＩＤ」は、商品情報ＤＢ１３の商品ＩＤと同じであり、商品を識別する識別子である。「商品」は、商品情報ＤＢ１３の商品と同じであり、商品名などである。「３次元画像データ」は、商品の３次元画像データである。図５の例では、商品ＩＤ「ＩＤ０１」で識別される商品「指輪Ａ」には、画像データ「３次元画像データＡ」が対応付けられていることを示す。なお、３次元画像データは、商品そのものを撮像したデータから作成したり、仮想空間上で作成したり、公知の手法を用いて作成することができる。
　制御部２０は、商品サーバ１０全体を司る処理部であり、例えばプロセッサなどである。この制御部２０は、受付部２１、応答部２２を有する。なお、受付部２１、応答部２２は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。また、制御部２０は、アクセスしてきたユーザが正規なユーザであるか否かを認証する認証処理、ユーザが購入する意思を示したときに実行される商品の購入処理なども実行するが、一般的な処理なので、詳細な説明は省略する。
　受付部２１は、ユーザ端末３０からの要求に応じて、各種Ｗｅｂページをユーザ端末３０に表示し、ユーザ端末３０からの各種操作を受け付ける処理部である。具体的には、受付部２１は、ユーザ端末３０からＷｅｂブラウザ等を用いたアクセスを受け付けると、商品サイトをユーザ端末３０に表示する。そして、受付部２１は、商品サイト上で商品の選択を受け付けると、商品の詳細情報が掲示される商品ページをユーザ端末３０に表示する。このようにして、受付部２１は、ユーザの操作に対応するＷｅｂページ等を表示する。
　応答部２２は、ユーザ端末３０から商品の試着要求を受け付けた場合に、試着サービスを提供する各種情報をユーザ端末３０に応答する処理部である。具体的には、応答部２２は、受付部２１により表示された商品ページにおいて、ユーザにより試着の選択が行われると、試着が要求された商品の３次元画像データを画像データＤＢ１４から取得する。そして、応答部２３は、仮想オブジェクトとして利用される商品の３次元画像データと、商品の３次元画像データの操作に関する制御用のスクリプトとを組み込んだ試着ページを、ユーザ端末３０に応答する。
　ここで、表示されるＷｅｂページの遷移を説明する。図６は、表示されるＷｅｂページの遷移を説明する図である。図６の（ａ）に示すように、受付部２１は、ユーザ端末３０からアクセスを受け付けると、各商品が掲載される商品サイト６０をユーザ端末３０に表示する。なお、商品サイト６０には、画面をスクロールするスライダーなども表示される。
　続いて、図６の（ｂ）に示すように、受付部２１は、商品サイト６０上で商品「指輪Ａ」が選択されると、選択された商品「指輪Ａ」の詳細情報を商品情報ＤＢ１３から取得して、商品「指輪Ａ」の詳細情報が掲載される商品ページ６１をユーザ端末３０に表示する。なお、商品ページ６１には、前の画面に戻る「戻る」ボタン、商品の購入に進む「購入」ボタン、商品の試着に進む「試着」ボタンなども表示される。
　その後、図６の（ｃ）に示すように、商品ページ６１上で「試着」ボタンが選択されると、応答部２２は、表示中の商品「指輪Ａ」の３次元画像データＡを画像データＤＢ１４から取得して、３次元画像データＡと試着を行うための各種制御を制御用のスクリプトとを組み込んだ、商品「指輪Ａ」の試着を行う試着ページ６２を表示する。なお、制御用のスクリプトで実行される各種処理は、ユーザ端末３０で説明する各種処理部の機能を提供する。なお、この試着ページ６２には、試着ページ６２をディスプレイに表示するユーザ端末３０のカメラと連携し、カメラの撮影対象の領域を含むとともに、当該領域に商品「指輪Ａ」の仮想オブジェクトが表示される。なお、試着ページ６２には、前の画面に戻る「戻る」ボタン、商品の購入に進む「購入」ボタンなども表示される。
（ユーザ端末３０の機能構成）
　図３に示すように、ユーザ端末３０は、通信部３１、撮像部３２、記憶部３３、制御部４０を有する。
　通信部３１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどである。例えば、通信部３１は、商品サーバ１０との間で、Ｗｅｂブラウザによるセッションを確立し、Ｗｅｂブラウザを介してデータの送受信を実行する。
　撮像部３２は、カメラなどを用いて撮像された画像や映像などの２次元画像データを取得する処理部である。例えば、撮像部３２は、試着を行うユーザの手、顔、身体などを撮像し、撮像した画像データを、制御部４０に出力する。
　記憶部３３は、各種データや制御部４０が実行する各種プログラムなどを記憶する記憶装置の一例であり、例えばメモリやハードディスクなどである。例えば、この記憶部３３は、商品サーバ１０から受信した商品の３次元画像データや、撮像部３２により撮像された画像データなどを記憶する。
　制御部４０は、ユーザ端末３０全体を司る処理部であり、例えばプロセッサなどである。この制御部４０は、アクセス部４１と試着制御部４２を有する。なお、アクセス部４１と試着制御部４２は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。
　アクセス部４１は、商品サーバ１０との間で、Ｗｅｂブラウザを用いた各種制御を実行する処理部である。例えば、アクセス部４１は、ユーザの指示操作により、Ｗｅｂブラウザを起動し、商品サーバ１０にアクセスする。そして、アクセス部４１は、商品サーバ１０から受け付けた商品サイト６０や商品ページ６１をディスプレイ等に表示する。また、アクセス部４１は、試着対象の商品の３次元画像データと制御用のスクリプトが組み込まれた試着ページ６２を受け付けると、試着ページをディスプレイ等に表示する。
　試着制御部４２は、２次元画像生成部４３と表示制御部４４を有し、ユーザ端末３０のディスプレイ上で、試着サービスを実行する処理部である。具体的には、試着制御部４２は、アクセス部４１により試着ページ６２が取得されると、試着ページ６２に組み込まれる制御用のスクリプトを実行して、２次元画像生成部４３と表示制御部４４とによる処理を実行することで、試着対象の商品の２次元画像データを生成する仮想空間を用いた制御と、その２次元画像データをディスプレイに実際に表示する制御とを、リアルタイムに連携して試着サービスを実行する。
　２次元画像生成部４３は、各商品について、試着サービスで使用する仮想オブジェクトの２次元画像データを生成する処理部である。具体的には、２次元画像生成部４３は、アクセス部４１により取得された試着ページ６２から、商品サーバ１０によって送信された商品の３次元画像データを取得する。そして、２次元画像生成部４３は、コンピュータ上でシミュレートした３次元の仮想空間上に、当該商品の３次元画像データを仮想オブジェクトとして配置する。そして、２次元画像生成部４３は、３次元の仮想空間上に配置した仮想カメラを用いて、商品の仮想オブジェクトを撮像し、２次元画像データを生成する。また、２次元画像生成部４３は、撮影して得られた商品の２次元画像データを、表示制御部４４などに出力する。なお、３次元的な仮想空間のシミュレートや仮想カメラなどは、公知のソフトウェアなどを用いることもできる。
　図７は、仮想オブジェクトの２次元画像データを生成する例を説明する図である。図７に示す図は、商品の仮想オブジェクトの２次元画像データを生成する３次元の仮想空間を上から見た図であり、仮想空間上に配置した複数の仮想カメラを用いて商品となるオブジェクトを撮像する。図７に示すように、仮想空間上で仮想カメラ１と仮想カメラ１´とを同位置に設置する。そして、仮想カメラ１が撮影できる領域Ｐと仮想カメラ１´が撮影できる領域Ｐ´との境界上に仮想オブジェクト（３次元画像データ）を配置する。なお、仮想オブジェクトは、任意の方向に回転させることができる。また、仮想オブジェクトのうち、各仮想カメラが撮影できる領域から外れた部分は、その仮想カメラの映像には映らない。そして、仮想オブジェクトを回転させて、各仮想カメラで仮想オブジェクトを撮影し、撮影された画像を組み合わせることで、仮想オブジェクトの２次元画像データを生成する。
　より詳細に説明する。仮想空間上における仮想オブジェクトの中心座標を（ｘ＝０，ｙ＝０，ｚ＝１００）と設定し、仮想オブジェクトは、仮想空間上で様々な方向に自転することができ、自転しても中心座標は変わらない。また、２つの仮想カメラ（仮想カメラ１、仮想カメラ１´）は、仮想空間上の（ｘ＝０，ｙ＝０，ｚ＝０）の位置にあり（ｘ＝０，ｙ＝０，ｚ＝１００）の方向を撮影する。
　そして、仮想カメラ１は、ｚ≧１０からｚ≦１００までの領域を撮影し映像化し、ｚ＜１０またはｚ＞１００の領域は映らない。仮想カメラ１´は、ｚ＞１００からｚ≦２００までの領域を撮影し映像化し、ｚ≦１００またはｚ＞２００の領域は映らない。すなわち、仮想カメラ１からは、ｚ≧１０からｚ≦１００までの領域に含まれる仮想オブジェクトのうち一部分が映り、それ以外が透過された映像が得られる。仮想カメラ１´からは、ｚ＞１００からｚ≦２００までの領域に含まれる仮想オブジェクトの一部分が映り、それ以外が透過された映像が得られる。
　そして、仮想カメラ１と仮想カメラ１´の映像をそれぞれＨＴＭＬ（Hyper　Text　Markup　Language）上のcanvas要素に出力し、画面に表示することで、仮想カメラ１の映像を出力したcanvasと仮想カメラ１´の映像を出力したcanvasとが、画面上で同じ位置に重なって表示されるようレイアウトされる。
　このように、２次元画像生成部４３は、シミュレーションした３次元空間上に試着対象として選択された商品の仮想オブジェクトを配置し、２つの仮想カメラで撮影した画像を組み合わせて、商品の２次元画像データを生成する。図８は、生成される２次元画像データを説明する図である。図８に示すように、２次元画像生成部４３は、仮想カメラ１から得られる映像と、仮想カメラ１´から得られる映像とを合成して、１つの２次元画像データを生成する。なお、１つの２次元画像データのうち、仮想カメラ１で撮影された映像（データ）の領域が被写体よりも常に優先表示される優先領域となる。
　上述したように、仮想空間上の各仮想カメラは、仮想空間上の仮想オブジェクトを常に撮像して、３次元画像データである仮想オブジェクトのリアルタイムな２次元画像データを生成する。
　ここで、２次元画像データの生成タイミングについて具体的に説明する。例えば、２次元画像生成部４３は、試着サービス開始時は、仮想空間上の所定位置に、予め定めたデフォルトの姿勢で仮想オブジェクトを配置して、２次元画像データを生成する。
　また、２次元画像生成部４３は、試着ページ６２に表示される仮想オブジェクトの２次元画像データに対してユーザが操作すると、当該操作に応じて、仮想空間上の仮想オブジェクト（３次元画像データ）の姿勢を変更して、２次元画像データを生成する。より詳細には、２次元画像生成部４３は、試着ページ６２に表示される仮想オブジェクトの２次元画像データに対するフリック操作を検出すると、フリック操作に応じた距離だけ、仮想空間上の仮想オブジェクトを回転させる。そして、２次元画像生成部４３は、回転後の姿勢の仮想オブジェクトを撮影して２次元画像データを生成する。
　図３に戻り、表示制御部４４は、ユーザ端末３０のディスプレイに表示される試着ページ６２の表示制御に関する各種処理を実行する処理部である。具体的には、表示制御部４４は、仮想オブジェクトの２次元画像データを表示する表示処理、試着を行う被写体を検出する検出処理、２次元画像データを用いた試着を行う試着処理などを実行する。
（表示処理）
　例えば、表示制御部４４は、２次元画像生成部４３により生成された仮想オブジェクトの２次元画像データを、試着ページ６２の予め指定された位置に表示する処理部である。すなわち、表示制御部４４は、２次元画像生成部４３が随時生成する２次元画像データを、ディスプレイに表示される試着ページ６２にリアルタイムに表示する。
（検出処理）
　また、表示制御部４４は、カメラ等により撮像された画像データから被写体を検出する。例えば、表示制御部４４は、ユーザ端末３０の撮像部３２により取得される２次元画像である画像データを試着ページ６２に表示し、表示される画像データから、時系列に変化する被写体を検出する。具体的には、表示制御部４４は、カメラにより撮影された画像データから、被写体の輪郭、肌色等の指定された色の領域、予め定めておいた型と類似する領域などの様々な手法を用いて、手などの被写体を検出する。
　ここで、被写体の検出手法の一例として、（１）特定の色と類似する領域を検出する手法、（２）特徴量抽出を用いた手法、（３）背景差分を用いる手法を説明する。
（１）特定の色と類似する領域を検出する手法
　例えば、表示制御部４４は、あらかじめ決めておいた基準の色と合致する画素だけを、被写体と判断することができる。具体的には、表示制御部４４は、検出対象のＲＧＢ値（画素値）の範囲を予め保持する。そして、表示制御部４４は、撮像された画像データの各画素を参照して検出対象のＲＧＢ値の範囲内か否かを判定する。そして、表示制御部４４は、検出対象のＲＧＢ値の範囲内と判定された各画素を、被写体と判定する。
　また、表示制御部４４は、撮像された画像データ上でユーザの選択を受け付ける。そして、表示制御部４４は、選択された画素のＲＧＢ値を中央値として所定の範囲を検出対象に決定する。その後、表示制御部４４は、撮像された画像データの各画素を参照して、検出対象のＲＧＢ値の範囲内の各画素を、被写体と判定する。このようにして、表示制御部４４は、画像データの各画素を参照して、被写体（例えば手）の輪郭を検出することができる。なお、所定の範囲等は、任意に設定変更することができる。
（２）特徴量抽出を用いた手法
　例えば、表示制御部４４は、画像データの中から特徴を検出し、あらかじめ決めておいた被写体の特徴との類似度を比較し、類似する部分を被写体と判断することもできる。具体的には、表示制御部４４は、画素同士の明暗差の並びのパターンを特徴とする手法（Haar　Like特徴）、画素同士の輝度の分布を特徴とする手法（Local　Binary　Pattern特徴）、輝度の方向（画像データの中のグラデーションのつき方）の組み合わせ方を特徴とする手法（Histogram　of　Oriented　Gradients特徴）などを用いることができる。
（３）背景差分を用いる手法
　例えば、表示制御部４４は、時系列に沿って画像を比較し、差分がある領域を被写体として検出することができる。具体的には、表示制御部４４は、例えば１秒おきに画像データを撮像部３２から順次取得する。そして、表示制御部４４は、前後の各画像データを比較し、画像データの中で動きがあった領域を被写体と判定することができる。
（試着処理）
　また、表示制御部４４は、試着ページ６２上に、２次元画像生成部４３により生成される仮想オブジェクトの２次元画像データと、カメラ等によりリアルタイムに撮影された画像データから検出された被写体とを表示し、仮想オブジェクトの試着を実行する。
　例えば、表示制御部４４は、撮影された画像データから随時認識される被写体の画像データとともに、予め決められた表示位置に商品に対応する２次元画像データを表示する。そして、表示制御部４４は、表示されている被写体と２次元画像データの表示が重なったときに、当該重なった領域のうち、優先的に表示させる仮想カメラ１で撮影された２次元画像データの領域を被写体に優先して表示するとともに、それ以外の２次元画像データの領域を非表示する。
［具体例］
　次に、図９から図１２を用いて、一例として、指輪Ａの試着を行う具体例で説明する。ここでは、ユーザ操作、ディスプレイ制御、試着における画面遷移例、試着例を順に説明する。
（ユーザ操作）
　図９は、試着イメージを説明する図である。図９に示すように、ユーザ端末３０の表示制御部４４は、ディスプレイに表示される試着ページ６２に、２次元画像生成部４３により生成された指輪Ａの２次元画像データＱを表示する。ユーザが、このユーザ端末３０のカメラを用いて自分の手を撮影することで、表示制御部４４が、被写体であるユーザの手を検出して、試着ページ６２に表示する。そして、ユーザが、カメラで撮影しながら自分の手を移動させると、表示制御部４４が、時系列で撮影された各画像データからユーザの指を随時検出して試着ページ６２に表示する。この結果、ユーザは、カメラで手を撮影しながら、試着ページ６２上で指に指輪（２次元画像データＱ）をはめることで、試着を行う。
（ディスプレイ制御）
　ここで、ユーザ端末３０の試着制御部４２は、Ｗｅｂブラウザを介して、カメラなどによりリアルタイムに撮像された指の状態を取得し、ユーザ端末３０のディスプレイ上で試着を実現する。図１０は、商品に対応する２次元画像データの試着の構成を説明する図である。
　図１０に示すように、表示制御部４４は、ユーザ端末３０で撮影された実オブジェクトの映像（レイヤー３）から、検出された被写体（手）のみの領域を示す映像（レイヤー２）を切り抜く。そして、表示制御部４４は、２次元画像生成部４３により生成された商品の仮想オブジェクトの２次元画像データのうち優先的に表示されないレイヤー１´の映像、レイヤー３から切り抜かれた被写体（手）のみの領域を示す映像（レイヤー２）、当該商品に対応する２次元画像データのうち優先的に表示されるレイヤー１の映像を順に重ねて１つの画面に映し出す。なお、表示制御部４４は、レイヤー１´、レイヤー２、レイヤー１については、表示対象のオブジェクトや手以外の領域を透明にすることで、各レイヤーを重ねても下のレイヤーが映るように制御する。また、表示制御部４４は、試着ページ６２の背景として、カメラで手を撮影しているときの背景を表示することもでき、予め用意しておいた別の背景を表示することもできる。
（試着における画面遷移例）
　次に、実際の試着例について説明する。図１１は、試着の遷移を説明する図である。図１１の（ａ）に示すように、試着制御部４２は、レイヤー１の映像とレイヤー１´の映像とを組み合わせた指輪Ａの２次元画像データ（図１１の説明では単に指輪Ａと記載する場合がある）を予め指定した領域に表示させた試着ページ６２上で、ユーザ端末３０のカメラで撮像された映像を表示させ、被写体である手を検出する。
　続いて、図１１の（ｂ）に示すように、試着制御部４２は、ユーザの操作によって手が指輪Ａに近づき、ユーザの指が指輪Ａと重なり始めると、指輪Ａのレイヤー１´の部分より手を優先させて表示する。この結果、指輪Ａのレイヤー１´の部分の上に、ユーザの指が表示される。
　その後、図１１の（ｃ）に示すように、試着制御部４２は、ユーザの操作によって手が指輪Ａに近づき、ユーザの指が指輪Ａと完全に重なると、指輪Ａのレイヤー１´の部分より手を優先させて表示するとともに、指輪Ａのレイヤー１の部分を手より優先させて表示する。
　この結果、試着制御部４２は、指輪Ａが指に装着しているように表示することができる。なお、試着制御部４２は、指輪Ａのレイヤー１´の部分について、指と重なっている部分だけを非表示とするので、指の太さ等により、非表示となる領域の大きさが変わる。したがって、ユーザごとの各指に適した装着感を提供することができる。
（試着例）
　次に、試着制御部４２は、指輪などの商品に対応する２次元画像データ（図１２の説明では、単に指輪と記載する場合がある）を様々な方向に動かすことができるので、様々な方向からの試着をユーザに提供することができる。図１２は、試着の別例を説明する図である。
　図１２に示すように、ユーザ端末３０の表示制御部４４は、試着ページ６２に、指輪を横方向に回転させるスライダーＡと指輪を上下方向に回転させるスライダーＢとを表示する。これらのスライダーにより、指輪を様々な向きに変更することができる。例えば、表示制御部４４は、スライダーが操作されると、操作方向や操作距離を検出して２次元画像生成部４３に出力する。２次元画像生成部４３は、入力された操作方向や操作距離に応じて、仮想空間上に配置した仮想オブジェクトの姿勢を変更し、変更後の姿勢の仮想オブジェクトを撮影して２次元画像データを生成する。そして、表示制御部４４は、新たな２次元画像データを試着ページ６２に表示する。このように、試着ページ６２のユーザ操作を仮想空間にリアルタイムに通知して、仮想オブジェクトの姿勢を動的に変更することができるので、ユーザは、試着ページ６２上であたかも商品を動かしているかのように認識することができる。なお、指輪の回転等の操作は、スライダーに限らず、指輪を選択した状態でのフリック操作を採用することができる。
　ユーザ端末３０の試着制御部４２は、指輪を横向きにした状態で、ユーザの手を検出することで、横から見た試着を提供する。ここでも、試着制御部４２は、指輪のレイヤー１´の部分より手を優先させて表示するとともに、指輪のレイヤー１の部分を手より優先させて表示する。
　また、試着制御部４２は、指輪を裏側にした状態で、すなわち手のひら側の指輪が見える状態で、ユーザの手を検出して、裏側から見た試着を提供する。ここでも、試着制御部４２は、指輪のレイヤー１´の部分より手を優先させて表示するとともに、指輪のレイヤー１の部分を手より優先させて表示する。なお、図１２に示すように、裏側の場合、通常時とレイヤーの映像の位置が逆となるが、レイヤー１の映像は常に優先され、レイヤー１´の映像は常に優先されないので、通常時と同様に、仮想的に正しく装着した映像を提供できる。
　なお、ここでは、スライダーを用いて、指輪を回転させる例を説明したが、これに限定されるものではない。例えば、２次元画像生成部４３は、表示される指輪に対するフリック操作等により指輪の姿勢や向きを変更した２次元画像データを生成することもできる。また、ディスプレイの任意の領域をフリック操作することにより、操作されたフリックの向きに合わせて、指輪の姿勢等を変更した２次元画像データを生成することもできる。また、ダブルクリックやピンチアウト操作等に応じて、２次元画像生成部４３が２次元画像データの拡大縮小を行うことで、試着ページ６２に表示される指輪を拡大縮小させることもできる。
［処理の流れ］
　図１３は、試着処理の流れを示すシーケンス図である。図１３に示すように、ユーザ端末３０のアクセス部４１は、ユーザ操作により、Ｗｅｂブラウザを用いて商品サーバ１０のサイトへアクセスする（Ｓ１０１とＳ１０２）。すると、商品サーバ１０の受付部２１は、各商品が掲示される商品サイト６０をユーザ端末３０に表示する（Ｓ１０３とＳ１０４）。
　その後、ユーザ端末３０において、商品サイト６０上で商品が選択されると（Ｓ１０５とＳ１０６）、商品サーバ１０の受付部２１は、選択された商品の商品ページ６１をユーザ端末３０に表示する（Ｓ１０７とＳ１０８）。
　そして、ユーザ端末３０において、商品ページ６１上で試着ボタンが選択されると（Ｓ１０９とＳ１１０）、商品サーバ１０の応答部２３は、選択された商品の３次元画像データと制御用のスクリプトとを組み込んだ試着ページ６２を、ユーザ端末３０に応答する（Ｓ１１１とＳ１１２）。
　このようにして、ユーザ端末３０の試着制御部４２は、試着ページ６２を取得すると（Ｓ１１３）、試着ページ６２に含まれる３次元画像データを用いて、商品に対応する２次元画像データを生成する（Ｓ１１４）。
　その後、ユーザ端末３０の試着制御部４２は、商品サーバ１０から送信された制御用スクリプトを用いて、商品の２次元画像データを表示させた試着ページ６２をディスプレイ等に表示する（Ｓ１１５）。
　続いて、ユーザ端末３０の試着制御部４２は、手の撮像（Ｓ１１６）、商品の２次元画像データを回転させたりする操作（Ｓ１１７）、商品の試着確認（Ｓ１１８）などを実行して試着サービスを実行する。
　そして、ユーザ端末３０上で試着が繰り返される間（Ｓ１１９：Ｎｏ）、Ｓ１１６以降が繰り返され、ユーザ端末３０上で試着終了の操作が実行されると（Ｓ１１９：Ｙｅｓ）、試着サービスを終了する（Ｓ１２０）。
［効果］
　上述したように、ユーザ端末３０は、場所や時間を選ばずに、商品の試着サービスを実行することができる。また、ユーザ端末３０は、各ユーザの指の大きさなどに応じて、商品に対応する２次元画像データの非表示とする部分を動的に制御することができるので、実際の指輪装着と同じような装着感を提供することができる。これらの結果、ユーザ端末３０は、試着サービスにおける装着感を高めて購買を促進することができる。
　さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。
［商品例］
　上記例では、指輪を例にして説明したが、これに限定されるものではない。例えば、スカーフ、ブレスレット、アンクレット、イヤリング、ピアス、時計、帽子などの服飾品も同様に処理することができる。また、これらの服飾品は、ユーザが自分で手などの一部分を用いた試着を行うが、洋服などユーザ全体を撮影して試着を行う商品も採用することができる。例えば、乳幼児、被介護者などを撮影して、洋服の試着などを行うこともできる。また、人間に限らず、ペットの洋服や服飾品も採用することができる。
［数値等］
　上記実施例で用いたデータ例、数値例、表示例等は、あくまで一例であり、任意に変更することができる。例えば、各種Ｗｅｂページの構成等は一例であり、任意に変更することができる。被写体も指に限らず、スカーフの時は首、時計の時は手首のように、商品によって検出する被写体を変更することができる。例えば、商品サーバ１０や試着制御部４２が、商品と検出対象の被写体とを対応付けて管理することで、試着する商品によって、検出対象を動的に変更することができる。
［商品の操作］
　また、商品に対応する２次元画像データが被写体とともに表示されているときでも当該商品の表示姿勢の指示が可能である。例えば、試着制御部４２は、指輪（２次元画像データ）が指と重なっている状態であっても、試着ページ６２上で指輪の回転などの操作を受け付けると、仮想空間上で回転等を行って回転後の２次元画像データを生成して、試着ページ６２に表示することができる。このときの回転後の２次元画像データにおいても、レイヤー１の映像が優先的に表示される。なお、ディスプレイ上でユーザによって操作された領域を特定する手法は、公知の手法を採用することができる。
　また、試着制御部４２は、指輪の２次元画像データが指を装着できないような姿勢で試着ページ６２に表示されるときは、時系列で撮影される各画像データから認識された指（被写体）の認識結果を用いて、試着ページ６２上で指の向きや移動方向等を検出し、仮想空間上の仮想オブジェクトの姿勢を装着可能な姿勢に修正した上で２次元画像データの生成を行って、試着ページ６２に表示することもできる。この結果、ユーザ操作により指輪（２次元画像データ）の姿勢が正しくない場合でも、試着可能な姿勢に動的に補正することができる。
［サイト例］
　上記実施例で説明したＷｅｂサイトやＷｅｂページには、ＨＴＭＬ（HyperText　Markup　Language）などで記述されたサイトやページを採用することができる。また、制御用のスクリプトとしては、ＪａｖａＳｃｒｉｐｔ（登録商標）などを採用することができる。また、仮想空間に限らず、商品を各方向から撮影した２次元画像データを予め用意しておき、試着ページ６２に表示することもできる。
［適用システム］
　上記実施例では、商品の閲覧、試着、購入を行うＥＣ（Electronic　Commerce）サイトを例にして説明したが、これに限定されるものではない。例えば、試作品や、現品を作る前にデザインの段階で、仮想オブジェクトとする３次元画像データを生成することで、上記試着サービスと同等のサービスを提供することができる。この結果、商品の大量生産を行う前に、デザインの修正や相談を行うことができるので、不要なコストの削減や製造工程を効率化することができる。
　また、商品サーバ１０上で試着サービスを提供することもできる。具体的には、商品サーバ１０が、ユーザ端末３０と試着制御部４２と同等の処理部を有し、Ｗｅｂブラウザを用いて、ユーザ端末３０に試着サービスを提供する。また、ユーザ端末３０は、ユーザ端末３０は、制御用のスクリプトがすでに組み込まれたＷｅｂブラウザを用いて、商品の３次元画像データを商品サーバ１０から取得して試着サービスを実行することもできる。
　また、上記例では、ユーザ端末３０が、１つの商品の３次元画像データを商品サーバ１０から取得する例を説明したが、これに限定されず、複数の商品それぞれの３次元画像データを商品サーバ１０から取得することもできる。例えば、ユーザ端末３０は、試着対象の指輪を３つ選択して、それぞれの３次元画像データを商品サーバ１０から取得する。ユーザ端末３０は、ユーザの指示操作により、対象商品を切替えて、試着サービスを実行することができる。
［システム］
　上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、オブジェクト生成、試着サービス、商品管理などを別々のサーバで実現することもできる。
　さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
［ハードウェア］
　図１４は、ハードウェア構成例を説明する図である。商品サーバ１０とユーザ端末３０とは同様のハードウェア構成を有するので、ここでは、コンピュータ１００として説明する。図１４に示すように、コンピュータ１００は、通信装置１００ａ、ＨＤＤ（Hard　Disk　Drive）１００ｂ、メモリ１００ｃ、プロセッサ１００ｄを有する。また、図１４に示した各部は、バス等で相互に接続される。
　通信装置１００ａは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。ＨＤＤ１００ｂは、図３に示した機能を動作させるプログラムやＤＢを記憶する。
　プロセッサ１００ｄは、図３に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図３等で説明した各機能を実行するプロセスを動作させる。例えば、ユーザ端末３０を例にして説明すると、このプロセスは、ユーザ端末３０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、アクセス部４１と試着制御部４２等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、アクセス部４１と試着制御部４２等と同様の処理を実行するプロセスを実行する。
　このように、コンピュータ１００は、プログラムを読み出して実行することで試着制御方法を実行する情報処理装置として動作する。また、コンピュータ１００は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、コンピュータ１００によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。
　１０　商品サーバ
　１１　通信部
　１２　記憶部
　１３　商品情報ＤＢ
　１４　画像データＤＢ
　２０　制御部
　２１　受付部
　２２　応答部
　３０　ユーザ端末
　３１　通信部
　３２　撮像部
　３３　記憶部
　４０　制御部
　４１　アクセス部
　４２　試着制御部
　４３　２次元画像生成部
　４４　表示制御部
 

Claims (11)

  1. 　撮影された２次元画像を表示する表示手段と、
    　前記撮影された２次元画像の中から、時系列的に変化する予め決められた被写体を検出する検出手段と、
    　表示すべき仮想オブジェクトの３次元画像データを記憶する記憶手段と、
    　前記記憶手段に記憶された前記仮想オブジェクトの３次元画像データを前記表示手段に表示する表示姿勢を指示する指示手段と、
    　前記指示手段により指示された前記仮想オブジェクトの３次元データの表示姿勢に基づき前記表示手段に表示される前記仮想オブジェクトの２次元画像データのうち、優先的に表示する優先領域と前記優先領域以外の非優先領域とを決定する決定手段と、
    　前記表示手段の予め決められた表示位置に前記仮想オブジェクトの２次元画像データの前記優先領域および前記非優先領域とともに前記撮影された前記被写体の２次元画像を表示するとともに、少なくとも前記表示手段に表示されている前記被写体の２次元画像と前記仮想オブジェクトの２次元画像データの表示が重なったときに、当該重なった領域における前記優先領域と前記非優先領域のうち、前記優先領域を前記被写体の２次元画像に優先して表示するとともに、前記非優先領域を非表示とする表示制御手段と、
    　を備えた情報処理装置。
  2. 　前記検出手段は、前記撮影された２次元画像の各画素を参照し、前記各画素の画素値、前記各画素を用いた特徴量または前記各画素の変化量に基づき、前記時系列的に変化する予め決められた被写体を検出することを特徴とする請求項１に記載の情報処理装置。
  3. 　前記指示手段は、前記仮想オブジェクトの２次元画像データが前記被写体とともに前記表示手段に表示されているときでも前記仮想オブジェクトの３次元画像データの表示姿勢の指示が可能であり、
    　前記表示制御手段は、前記指示手段による表示姿勢の指示により前記優先領域および前記非優先領域を動的に変化させることを特徴とする請求項１または２に記載の情報処理装置。
  4. 　前記仮想オブジェクトは、前記被写体に仮想的に装着する服飾品であり、
    　前記決定手段は、前記服飾品の表示姿勢により決定される前記被写体への装着時に前記被写体によって隠れる領域以外を前記被写体に優先して表示する前記優先領域と決定することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
  5. 　第１の領域と第２の領域とを有する３次元の仮想空間をシミュレートし、前記第１の領域と前記第２の領域との境界に、前記仮想オブジェクトの３次元画像データを配置するとともに、前記第１の領域のみを撮影する第１の仮想カメラを用いて、前記仮想オブジェクトの３次元画像データのうち前記第１の領域に位置する第１の部分画像を撮影し、前記第２の領域のみを撮影する第２の仮想カメラを用いて、前記仮想オブジェクトの３次元画像データのうち前記第２の領域に位置する第２の部分画像を撮影し、前記第１の部分画像と前記第２の部分画像とを組み合わせた、前記仮想オブジェクトの２次元画像データを生成する生成手段を、さらに有し、
    　前記表示制御手段は、前記仮想オブジェクトの２次元画像データを前記表示手段に表示する際に、前記第１の部分画像を前記優先領域として表示することを特徴とする請求項１に記載の情報処理装置。
  6. 　撮影された２次元画像を表示するステップと、
    　前記２次元画像の中から、時系列的に変化する予め決められた被写体を検出するステップと、
    　仮想オブジェクトの３次元画像データを表示する表示姿勢を指示するステップと、
    　指示された前記仮想オブジェクトの３次元画像データの表示姿勢に基づき表示される前記仮想オブジェクトの２次元画像データのうち、優先的に表示する優先領域と前記優先領域以外の非優先領域とを決定するステップと、
    　予め決められた表示位置に前記仮想オブジェクトの２次元画像データの前記優先領域および前記非優先領域とともに、少なくとも表示されている被写体の２次元画像と前記仮想オブジェクトの２次元画像データの表示が重なったときに、重なった領域における前記優先領域と前記非優先領域のうち、前記優先領域を被写体の２次元画像に優先して表示するとともに、前記非優先領域を非表示とするステップと、
    　を含む、表示制御方法。
  7. 　撮影された２次元画像を表示する処理と、
    　前記２次元画像の中から、時系列的に変化する予め決められた被写体を検出する処理と、
    　仮想オブジェクトの３次元画像データを表示する表示姿勢を指示する処理と、
    　指示された前記仮想オブジェクトの３次元画像データの表示姿勢に基づき表示される前記仮想オブジェクトの２次元画像データのうち、優先的に表示する優先領域と前記優先領域以外の非優先領域とを決定する処理と、
    　予め決められた表示位置に前記仮想オブジェクトの２次元画像データの前記優先領域および前記非優先領域とともに、少なくとも表示されている被写体の２次元画像と前記仮想オブジェクトの２次元画像データの表示が重なったときに、重なった領域における前記優先領域と前記非優先領域のうち、前記優先領域を被写体の２次元画像に優先して表示するとともに、前記非優先領域を非表示とする処理と、
    をコンピュータに実行させる、表示制御プログラム。
  8. 　前記被写体を検出する処理は、前記撮影された２次元画像の各画素を参照し、前記各画素の画素値、前記各画素を用いた特徴量または前記各画素の変化量に基づき、前記時系列的に変化する予め決められた被写体を検出する請求項７に記載の表示制御プログラム。
  9. 　前記表示姿勢を指示する処理は、前記仮想オブジェクトの２次元画像データが前記被写体とともに表示されているときでも前記仮想オブジェクトの３次元画像データの表示姿勢の指示が可能であり、
    　前記表示を制御する処理は、前記表示姿勢の指示により前記優先領域および前記非優先領域を動的に変化させる、請求項７または８に記載の表示制御プログラム。　
  10. 　前記仮想オブジェクトは、前記被写体に仮想的に装着する服飾品であり、
    　前記優先領域を決定する処理は、前記服飾品の表示姿勢により決定される前記被写体への装着時に前記被写体によって隠れる領域以外を前記被写体に優先して表示する前記優先領域と決定する、請求項７乃至９の何れか１項に記載の表示制御プログラム。
  11. 　第１の領域と第２の領域とを有する３次元の仮想空間をシミュレートし、
    　前記第１の領域と前記第２の領域との境界に、前記服飾品に対応する前記仮想オブジェクトの３次元画像データを配置するとともに、前記第１の領域のみを撮影する第１の仮想カメラを用いて、前記仮想オブジェクトの３次元画像データのうち前記第１の領域に位置する第１の部分画像を撮影し、
    　前記第２の領域のみを撮影する第２の仮想カメラを用いて、前記仮想オブジェクトの３次元画像データのうち前記第２の領域に位置する第２の部分画像を撮影し、
    　前記第１の部分画像と前記第２の部分画像とを組み合わせた、前記仮想オブジェクトの２次元画像データを生成する処理を、前記コンピュータにさらに実行させ、
    　前記表示する処理は、前記仮想オブジェクトの２次元画像データを表示する際に、前記第１の部分画像を前記優先領域として表示することを特徴とする請求項１０に記載の表示制御プログラム。
PCT/JP2020/032224 2019-08-29 2020-08-26 情報処理装置、表示制御方法および表示制御プログラム WO2021039856A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019157288A JP6656572B1 (ja) 2019-08-29 2019-08-29 情報処理装置、表示制御方法および表示制御プログラム
JP2019-157288 2019-08-29

Publications (1)

Publication Number Publication Date
WO2021039856A1 true WO2021039856A1 (ja) 2021-03-04

Family

ID=69997894

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/032224 WO2021039856A1 (ja) 2019-08-29 2020-08-26 情報処理装置、表示制御方法および表示制御プログラム

Country Status (2)

Country Link
JP (1) JP6656572B1 (ja)
WO (1) WO2021039856A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114489404A (zh) * 2022-01-27 2022-05-13 北京字跳网络技术有限公司 一种页面交互方法、装置、设备以及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022050096A1 (ja) * 2020-09-02 2022-03-10 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
JP7470999B2 (ja) 2021-12-24 2024-04-19 ＥｎｃｏｄｅＲｉｎｇ株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP7441289B1 (ja) 2022-11-14 2024-02-29 株式会社バンダイ コンピュータプログラム、情報処理端末、及びその制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08305891A (ja) * 1995-05-11 1996-11-22 Sega Enterp Ltd 画像処理装置および画像処理方法
JP2010152556A (ja) * 2008-12-24 2010-07-08 Sony Computer Entertainment Inc 画像処理装置および画像処理方法
JP2018113054A (ja) * 2018-03-01 2018-07-19 株式会社東芝 画像処理装置、画像処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08305891A (ja) * 1995-05-11 1996-11-22 Sega Enterp Ltd 画像処理装置および画像処理方法
JP2010152556A (ja) * 2008-12-24 2010-07-08 Sony Computer Entertainment Inc 画像処理装置および画像処理方法
JP2018113054A (ja) * 2018-03-01 2018-07-19 株式会社東芝 画像処理装置、画像処理方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114489404A (zh) * 2022-01-27 2022-05-13 北京字跳网络技术有限公司 一种页面交互方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
JP6656572B1 (ja) 2020-03-04
JP2021033963A (ja) 2021-03-01

Similar Documents

Publication Publication Date Title
WO2021039856A1 (ja) 情報処理装置、表示制御方法および表示制御プログラム
RU2668408C2 (ru) Устройства, системы и способы виртуализации зеркала
US11838603B2 (en) Video distribution system for live distributing video containing animation of character object generated based on motion of distributor user, distribution method, and storage medium storing video distribution program
US9418378B2 (en) Method and system for trying out a product in relation to a real world environment
US10777226B2 (en) Selective sharing of body data
US8982110B2 (en) Method for image transformation, augmented reality, and teleperence
US10210664B1 (en) Capture and apply light information for augmented reality
US8976160B2 (en) User interface and authentication for a virtual mirror
US10665022B2 (en) Augmented reality display system for overlaying apparel and fitness information
US20160080662A1 (en) Methods for extracting objects from digital images and for performing color change on the object
US9304646B2 (en) Multi-user content interactions
US9373025B2 (en) Structured lighting-based content interactions in multiple environments
US9213420B2 (en) Structured lighting based content interactions
JP2014509758A (ja) リアルタイムの仮想反射
US20130254066A1 (en) Shared user experiences
US9367124B2 (en) Multi-application content interactions
WO2022048373A1 (zh) 图像处理方法、移动终端及存储介质
WO2023101881A1 (en) Devices, methods, and graphical user interfaces for capturing and displaying media
WO2023230290A1 (en) Devices, methods, and graphical user interfaces for user authentication and device management
CN116452745A (zh) 手部建模、手部模型处理方法、设备和介质
US20220301264A1 (en) Devices, methods, and graphical user interfaces for maps
EP2828768A2 (en) Structured lighting-based content interactions in multiple environments
CN114125271B (zh) 图像处理方法、装置及电子设备
JP6840211B1 (ja) 指示不要アクティブライブネスチェックシステム、方法およびプログラム
US20240103614A1 (en) Devices, methods, for interacting with graphical user interfaces

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20856361

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20856361

Country of ref document: EP

Kind code of ref document: A1