WO2016194441A1 - 立体広告枠決定システム、ユーザ端末および立体広告枠決定コンピュータ - Google Patents

立体広告枠決定システム、ユーザ端末および立体広告枠決定コンピュータ Download PDF

Info

Publication number
WO2016194441A1
WO2016194441A1 PCT/JP2016/058912 JP2016058912W WO2016194441A1 WO 2016194441 A1 WO2016194441 A1 WO 2016194441A1 JP 2016058912 W JP2016058912 W JP 2016058912W WO 2016194441 A1 WO2016194441 A1 WO 2016194441A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint
data
space
advertising space
dimensional
Prior art date
Application number
PCT/JP2016/058912
Other languages
English (en)
French (fr)
Inventor
志村彰洋
Original Assignee
株式会社電通
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社電通 filed Critical 株式会社電通
Priority to EP16802880.1A priority Critical patent/EP3306571A4/en
Priority to JP2017514946A priority patent/JP6277329B2/ja
Publication of WO2016194441A1 publication Critical patent/WO2016194441A1/ja
Priority to US15/821,335 priority patent/US10873768B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Definitions

  • the present invention relates to a three-dimensional advertising space determination system for free viewpoint moving image data, and more particularly to setting of advertising space.
  • Patent Document 1 discloses that an arbitrary projection frame from a free viewpoint is displayed as an advertisement frame for free viewpoint video data.
  • Patent Document 1 has the following problems. Originally, although the advertising space is set for advertising effectiveness, there is a problem that the advertisement is not displayed only by a slight deviation.
  • An object of the present invention is to provide an advertising system capable of setting an effective advertising space in a free viewpoint video.
  • the three-dimensional advertising space determination system receives content data composed of a free viewpoint video whose view point to be changed can be changed from a distribution computer, displays the video data from a specific viewpoint on the display means, A user terminal that displays specific viewpoint video data based on the viewpoint characteristic change data on the display means when given the viewpoint characteristic change data for changing the viewpoint characteristic for the displayed specific viewpoint video data, and A stereoscopic advertising space determination system configured by a stereoscopic advertising space determination computer, wherein A) the user terminal further includes: Based on the specific viewpoint video data displayed on the display means, attention space determination means for determining the attention space in the specific viewpoint video, transmission means for transmitting the transition history of the attention space to the three-dimensional advertising space determination computer, B )
  • the three-dimensional advertising space determining computer includes user-specific history data receiving means for receiving the transition history for the content data, and three-dimensional advertising space determining means for determining content-specific three-dimensional advertising space obtained from the user-specific history data. ing.
  • the three-dimensional advertising space determination system receives content data composed of a free viewpoint video that can change the viewpoint to be viewed from the distribution computer, displays the video data from a specific viewpoint on the display means, A user terminal that displays specific viewpoint video data based on the viewpoint characteristic change data on the display means when given the viewpoint characteristic change data for changing the viewpoint characteristic for the displayed specific viewpoint video data, and A stereoscopic advertising space determination system configured by a stereoscopic advertising space determination computer, wherein A) the user terminal further includes the following, based on specific viewpoint video data displayed on the display means, attention in the specific viewpoint video Attention space basic data generation means for generating attention space determination basic data for determining a space; B) transmitting means for transmitting the transition history of the space-of-interest basic data to the three-dimensional advertising space determining computer; B) the three-dimensional advertising space determining computer receiving history data for each user receiving the transition history for the content data; 3D advertisement space determining means for determining a 3D advertisement space for each content obtained from the history data.
  • the three-dimensional advertisement space determination means determines a three-dimensional advertisement space for each content from the transition history for each of the plurality of users. Therefore, it is possible to determine a three-dimensional advertisement frame for each content from a plurality of transition history for each user.
  • the three-dimensional advertising space determining means determines the three-dimensional advertising space from the overlap attention space in the transition history for each of the plurality of users. Therefore, it is possible to determine the three-dimensional advertisement frame for each content from the overlapping attention space in the transition history for each of the plurality of users.
  • the three-dimensional advertising space is a three-dimensional advertising space that changes in time series according to the viewpoint conditions of the user who viewed the content data. Therefore, it is possible to provide a time-series three-dimensional advertisement frame that varies depending on the viewpoint conditions actually viewed by the user.
  • the attention space determination means is a display area from the currently specified viewpoint and viewpoint direction, and a space determined by given depth specifying data A region is determined as the attention space. Therefore, an arbitrary space area can be provided as a time-series three-dimensional advertisement frame.
  • the depth specifying data is added to the content data. Therefore, the attention area in the depth direction can be determined according to the characteristics of the content.
  • the depth specifying data varies depending on the content. Therefore, the attention area in the depth direction can be changed depending on the content.
  • the depth specifying data varies according to the zoom rate of the free viewpoint video. Thereby, when zooming in / out, the attention area in the depth direction can be changed.
  • the attention space determination means is a display area from a designated viewpoint and viewpoint direction, and a spatial area determined by given depth specifying data The whole is determined as the attention space. Therefore, the entire space area can be treated as the attention space.
  • the attention space determination means is a display area from a designated viewpoint and viewpoint direction, and a spatial area determined by given depth specifying data Is determined as the attention space. Therefore, a part of the space area can be treated as the attention space.
  • the attention space determination means is a display area from the designated viewpoint and viewpoint direction, and a space determined by the given depth specifying data. A substantially central region is determined as the attention space. Therefore, the approximate center of the space area can be treated as the attention space.
  • the attention space determining means is a display area from a designated viewpoint and viewpoint direction, and in a space determined by given depth specifying data. This is an area where moving objects exist. Therefore, an area where the moving object exists can be handled as the attention space.
  • the attention space determination unit decreases the weight of the detected area as it goes to the periphery. Therefore, it is possible to set a three-dimensional advertisement frame that emphasizes the vicinity of the center for the spatial region.
  • the attention space determination unit decreases the weight of the detected area as it moves away in the XY direction. Therefore, a three-dimensional advertisement frame that emphasizes the vicinity of the center in the XY direction can be set for the spatial region.
  • the attention space determination unit decreases the weight of the detected area as it goes away in the depth direction. Therefore, it is possible to set a three-dimensional advertisement frame that emphasizes the vicinity of the center in the depth direction for the spatial region.
  • the attention space determination means has attention space detection means for detecting a space in which the current user is paying attention, and is detected by the attention space detection means.
  • the determined area is determined as the attention space. Therefore, it is possible to generate a three-dimensional advertisement frame based on the actual attention area.
  • a three-dimensional advertising space determining computer is a three-dimensional advertising space determining computer connected to the following user terminal, wherein the user terminal is content data composed of a free-viewpoint video capable of changing a viewing viewpoint. Is received and the moving image data from the specific viewpoint is displayed on the display means, and the viewpoint characteristic change data for changing the viewpoint characteristic of the displayed specific viewpoint moving image data is given from the operator, the identification based on the viewpoint characteristic change data is given.
  • a user terminal for displaying viewpoint moving image data is provided with the following means.
  • User-specific history data receiving means for receiving the history of attention space transition of each specific viewpoint video data displayed on the display means as user-specific history data
  • user-specific history data storage for storing the user-specific history data for each content Means for determining a three-dimensional advertising space for the content from the user-specific history data.
  • a three-dimensional advertising space determining computer is a three-dimensional advertising space determining computer connected to the following user terminal, wherein the user terminal is content data composed of a free-viewpoint video capable of changing a viewing viewpoint. And displaying the moving image data from the specific viewpoint on the display means, and the viewpoint characteristic change data for changing the viewpoint characteristic from the operator is given to the displayed specific viewpoint moving image data.
  • History data for each user that receives the transition history of the attention space determination basic data for determining the attention space in the specific viewpoint moving image data displayed on the user terminal, the user terminal displaying the specific viewpoint moving image data based on Receiving means, storage means for storing a transition history of the attention space determination basic data, the attention space determination Determining means for determining the history of the attention space for each user from the transition history of the foundation data, and a three-dimensional advertisement frame determining means for determining the three-dimensional advertising space for each content based on the history of the attention space for each user .
  • the user terminal receives content data composed of a free viewpoint video whose view point to be viewed can be changed from the distribution computer, displays the video data from a specific viewpoint on the display means, and displays the content data.
  • the viewpoint characteristic change data for changing the viewpoint characteristic is given from the operator of the user terminal to the specific viewpoint video data
  • the user terminal displays the specific viewpoint video data based on the viewpoint characteristic change data on the display means.
  • attention space determining means for determining the attention space in the specific viewpoint moving image
  • transmission means for transmitting the transition history of the attention space to the three-dimensional advertising space determination computer It has. Therefore, the attention space in the specific viewpoint moving image data can be supplied to the three-dimensional advertising space determination computer.
  • the user terminal receives content data composed of a free-viewpoint video that can change a viewing point from a distribution computer, displays the moving-image data from a specific viewpoint on a display unit, and displays the displayed data.
  • the viewpoint characteristic change data for changing the viewpoint characteristic is given from the operator of the user terminal to the specific viewpoint video data
  • the user terminal displays the specific viewpoint video data based on the viewpoint characteristic change data on the display means.
  • Attention space basic data generation means for generating attention space determination basic data for determining the attention space in the specific viewpoint video data displayed on the display means, and the transitional history of the attention space basic data is determined as the three-dimensional advertisement frame determination Transmitting means for transmitting to a computer is provided. Therefore, the three-dimensional advertisement frame can be determined by the three-dimensional advertisement frame determination computer from the transition history of the attention space basic data.
  • a three-dimensional advertising space determination method is a method of connecting content data including a free-viewpoint video that connects a distribution computer, a user terminal, and a three-dimensional advertising space determination computer and is capable of changing a viewpoint viewed from the distribution computer.
  • the user terminal When the user terminal receives and displays the video data from a specific viewpoint on the user terminal, and given the viewpoint characteristic change data for changing the viewpoint characteristic from the operator for the displayed specific viewpoint video data, the user The terminal is a stereoscopic advertisement frame determination method for displaying specific viewpoint video data based on the viewpoint characteristic change data, and A) the user terminal includes the following steps, based on the displayed specific viewpoint video data: A step of determining a space of interest in the specific viewpoint video, and a transition history of the space of interest A step of transmitting to the body advertisement space determination computer, and B) upon receiving the transition history for the content data, the computer determines the 3D advertisement space for each content obtained from the history data for each user. Therefore, an effective three-dimensional advertising space can be supplied.
  • a three-dimensional advertising space determining method is a method of connecting content computer configured by a free-viewpoint video that connects a distribution computer, a user terminal, and a three-dimensional advertising space determination computer and is capable of changing a viewpoint viewed from the distribution computer.
  • the user terminal When the user terminal receives and displays the video data from a specific viewpoint on the user terminal, and given the viewpoint characteristic change data for changing the viewpoint characteristic from the operator for the displayed specific viewpoint video data, the user The terminal is a three-dimensional advertising space determination method for displaying specific viewpoint video data based on this viewpoint characteristic change data,
  • A) The user terminal includes the following steps, and generates attention space determination basic data for determining an attention space in the specific viewpoint moving image based on the specific viewpoint moving image data displayed on the display means, the attention A step of transmitting a transition history of the spatial basic data to the three-dimensional advertisement space determination computer; B) when the three-dimensional advertisement space determination computer receives the transition history for the content data, the three-dimensional advertisement for each content obtained from the transition history Determine the frame. Therefore, an effective three-dimensional advertising space can be supplied.
  • the data according to the present invention is the transition history data of the attention space for each content received from the user terminal, and the attention space area of the user at each reproduction time for the free viewpoint video displayed on the user terminal for each content
  • the area specifying information for specifying is data that is configured in time series. Therefore, by collecting a plurality of such transition history data, it is possible to determine the overlapping attention space for each content as a three-dimensional advertisement frame.
  • Data according to the present invention is attention space determination basic data for determining an attention space in the specific viewpoint moving image determined based on the specific viewpoint moving image data displayed on the display means of the user terminal, Separately, data in which attention space determination basic data for specifying a user's attention space area at each reproduction time for a free viewpoint video displayed on the user terminal is configured in time series. Therefore, by collecting a plurality of such transition history data, it is possible to determine the overlapping attention space for each content as a three-dimensional advertisement frame.
  • the free viewpoint video includes all videos that can display content by freely switching the viewpoint.
  • the viewpoint characteristic change data is data in which at least one of the combination of the viewpoint and the viewpoint direction is changed, and is changed data in the relative elapsed time from the start.
  • the viewpoint and viewpoint are changed. Composed of a combination of direction, zoom and relative elapsed time. Note that zooming is not essential.
  • data for changing other viewpoint characteristics may be included. Further, it may be expressed by a relative change amount from the current viewpoint characteristic.
  • stored in the delivery server 2 is shown. It is a transmission processing flowchart of history data. It is an example of the heat map in a different time. It is a three-dimensional advertisement frame determination process flowchart. It is an advertisement processing flowchart. It is a functional block diagram of the delivery computer in 2nd Embodiment, a user terminal, and a three-dimensional advertisement frame determination computer. It is a figure explaining the determination process of the distance L in a three-dimensional advertisement frame determination computer.
  • FIG. 1 shows a configuration of a free-viewpoint video distribution system 1 according to the present invention.
  • the free-viewpoint video distribution system 1 includes a distribution computer 51, a plurality of user terminals 50AN1 to 50ANM, 50ANN to 50ANR, a three-dimensional advertisement space determination computer 52, and an advertisement management computer 56P1.
  • the distribution computer 51 distributes to the user terminals 50AN1 to 50ANK the free viewpoint video data with the specified content ID and the viewpoint characteristic data (viewpoint and viewpoint direction) for changing the viewpoint to be viewed.
  • Each user terminal 50AN1-50ANK generates and displays a moving image from the received free viewpoint moving image data and viewpoint characteristic data.
  • the viewpoint characteristic change data for changing the viewpoint characteristic is given to the displayed specific viewpoint video data by the operator of the user terminal
  • the user terminals 50AN1 to 50ANK generate specific viewpoint video data based on the viewpoint characteristic change data.
  • the user terminals 50AN1 to 50ANK extract the history data of the area that is focused on the displayed image, and transmit this to the three-dimensional advertisement frame determination computer 52.
  • the three-dimensional advertisement frame determination computer 52 stores the history data for each user ID and content ID, extracts a common area from a plurality of user attention areas for each content ID, and determines the area as a three-dimensional advertisement frame. To do.
  • the determined three-dimensional advertising space is transmitted to the distribution computer 51 and distributed to the user terminals 50ANN to 50ANR when each free viewpoint video is distributed.
  • the advertisement management computer 56P1 issues a placement instruction if there is a three-dimensional advertisement frame that matches the three-dimensional advertisement frame of each content.
  • a three-dimensional advertisement frame is set in a space that is noticed by many users in each free viewpoint video on the user terminals 50ANN to 50ANR.
  • a rough advertisement area is defined. Therefore, an effective advertisement frame can be set even for a free viewpoint video.
  • FIG. 2 shows a functional block diagram of the distribution computer 51, the user terminal 50AN1, and the three-dimensional advertising space determination computer 52 in the free viewpoint moving image distribution system 1.
  • the distribution computer 51 includes a storage unit 4 and a distribution unit 5.
  • the storage means 4 stores a plurality of free viewpoint moving image data whose viewing viewpoint can be changed.
  • the distribution means 5 distributes the specified free viewpoint video data to the user terminal 50AN1 that requested the distribution.
  • the user terminal 50AN1 includes a request unit 61, a reception unit 62, a storage unit 63, a specific viewpoint image generation unit 64, a display control unit 65, a display unit 66, an image change unit 67, an attention space determination unit 68, and a transmission unit 69. I have.
  • the request means 61 requests free viewpoint moving image data from the distribution computer 51.
  • the receiving means 62 receives free viewpoint moving image data sent from the distribution computer 51.
  • the storage unit 63 stores the received free viewpoint moving image data.
  • the specific viewpoint image generation unit 64 When given the viewpoint characteristic data, the specific viewpoint image generation unit 64 generates specific viewpoint moving picture data based on the viewpoint characteristic data for the stored free viewpoint moving picture data.
  • the display control unit 12 causes the display unit 13 to display the generated specific viewpoint moving image data.
  • the viewpoint characteristic change data for changing the viewpoint characteristic is given from the operator of the user terminal 50AN1 to the specific viewpoint moving picture data displayed on the display means 13, the image changing means 15 receives the specific viewpoint moving picture based on the viewpoint characteristic changing data. Data is generated by the viewpoint image generation means 64.
  • the attention space determination means 68 determines the attention space in the generated specific viewpoint moving image data.
  • the transmission unit 69 transmits the transition history data of the attention space to the three-dimensional advertisement space determination computer 52.
  • Three-dimensional advertisement space determination computer 52 The user-specific operation data receiving means 73 of the three-dimensional advertising space determination computer 52 receives the transition history data of the space of interest.
  • the user-specific operation data storage means 72 stores the received history change data of the attention space for each user as user-specific history data.
  • the three-dimensional advertising space determining means 71 determines the overlapping attention space for each content obtained from the user-specific history data of the plurality of users as the three-dimensional advertising space.
  • the three-dimensional advertising space is transmitted as the advertising space information.
  • the distribution computer 51 stores the received stereoscopic advertisement frame together with the corresponding free viewpoint moving image data, and when there is a distribution request for the free viewpoint moving image data from another user terminal, distributes the corresponding stereoscopic advertisement frame together.
  • the user terminal 50AN1 has been described as a representative, but the same applies to the functions of other user terminals.
  • Hardware Configuration 3.1 Hardware Configuration of Distribution Computer 2 The hardware configuration of the distribution computer 2 will be described with reference to FIG. The figure shows an example of a hardware configuration in which the distribution computer 2 is configured using a CPU.
  • the distribution computer 2 includes a CPU 23, a memory 27, a hard disk 26, a monitor 30, an optical drive 25, an input device 28, a communication board 31, and a bus line 29.
  • the CPU 23 controls each unit via the bus line 29 according to each program stored in the hard disk 26.
  • the hard disk 26 stores an operating system program 26o (hereinafter abbreviated as OS) and a main program 26p. Although details of the processing of the main program 26p will be described later, when a distribution request specifying the moving image ID is received from the user terminal, the corresponding free viewpoint moving image data is distributed.
  • OS operating system program
  • the free viewpoint moving image data storage unit 26d stores a plurality of free viewpoint moving images.
  • Each free viewpoint moving image has a moving image data ID, a reproduction time, and an index word (not shown).
  • FIG. 4 shows an example of a free viewpoint video. In this example, it is a free viewpoint video in which one dancer is dancing while moving in the XYZ coordinate system.
  • initial projection conditions for giving a viewpoint P1, a viewpoint direction ⁇ 1, ⁇ 1, and a projected image without zooming are given.
  • the viewpoint direction is specified by the horizontal angle ⁇ and the elevation angle ⁇ , but another specifying method may be used.
  • Windows 2008R2 registered trademark or trademark
  • OS operating system program
  • Each program is read from the CD-ROM 25a storing the program via the optical drive 25 and installed in the hard disk 26.
  • a program such as a flexible disk (FD) or an IC card may be installed on a hard disk from a computer-readable recording medium. Furthermore, it may be downloaded using a communication line.
  • FD flexible disk
  • IC card integrated circuit card
  • the program stored in the CD-ROM is indirectly executed by the computer by installing the program from the CD-ROM to the hard disk 26.
  • the present invention is not limited to this, and the program stored in the CD-ROM may be directly executed from the optical drive 25.
  • programs that can be executed by a computer are not only programs that can be directly executed by being installed as they are, but also programs that need to be converted into other forms (for example, those that have been compressed) In addition, those that can be executed in combination with other module parts are also included.
  • FIG. 5 shows a hardware configuration of user terminal 50AN1.
  • the hard disk 126 stores a browser program 126b and an operation processing program 126p.
  • the CPU 123 displays the free viewpoint video on the monitor 130 by the browser program 126b. Based on the operation processing program 126p, the CPU 123 stores the viewpoint switching image generated by a predetermined operation performed by the user and the attention area history data for each unit time in the history storage unit 126r. The generation of the viewpoint switching image and the history data will be described later.
  • the CPU 123 transmits history data of the attention area for each unit time to the three-dimensional advertising space determination computer 52.
  • the user terminal may be a tablet computer, a smartphone, a game machine, a smart TV, or other home appliances.
  • operation processing program 126p is stored in the hard disk 126 in advance, this may be performed by causing the browser program to execute a necessary program by plug-in processing.
  • the storage location is not limited.
  • the hardware configuration of the 3D advertisement frame determination computer 52 is shown in FIG.
  • the hard disk 226 stores the history data of the attention area for each unit time received from each user terminal. Based on the main program 226p, the CPU 223 determines a three-dimensional advertisement frame for each free viewpoint moving image distributed by the distribution computer 51.
  • the CPU 123 of the user terminal 50AN1 determines whether or not there is a distribution request command from the user (step S201 in FIG. 7), and if there is a distribution request command, transmits the distribution request to the distribution computer (step S202).
  • the CPU 23 (see FIG. 3) of the distribution computer determines whether or not there is a distribution request specifying the free viewpoint video ID from the user terminal 50AN1 (step S203).
  • the moving image and setting data are distributed to the user terminal 50AN1 (step S207).
  • the viewpoint characteristic data of FIG. 8C is used as the setting data.
  • the CPU 123 of the user terminal 50AN1 determines whether or not to receive a free viewpoint moving image (step S208). When the free viewpoint moving image is received, a projection process is performed using the setting data (step S209).
  • step S209 The projection process in step S209 will be described with reference to FIG.
  • a playback button (not shown) on the display screen
  • the user terminal 3 When a playback button (not shown) on the display screen is selected, the user terminal 3 generates a projection image from the distributed free viewpoint moving image data and setting data and displays it on the monitor 130 (step S301 in FIG. 9). .
  • two-dimensional projection data is generated from the viewpoint characteristic data in FIG. 8C.
  • the setting data shown in FIG. 8C is the projection image at the viewpoint P1, the viewpoint direction ⁇ 1, ⁇ 1 at the time t0, the projection image at the viewpoint direction ⁇ 2, ⁇ 2, and the projection image at the viewpoint direction ⁇ 2, ⁇ 2, at the time t3.
  • the target free viewpoint moving image is a moving image in which one dancer changes the position with time
  • a projected moving image in which the viewpoint and the viewpoint direction are switched is displayed as shown in FIG.
  • a well-known coordinate transformation technique may be used for generating a projection image from a free viewpoint video.
  • a display based on the setting data is performed, and the projection image is changed by the user performing a desired switching process.
  • the projected image can be switched and displayed by switching between “viewpoint”, “viewpoint direction”, and “presence / absence of zoom”. The change of the projection image will be described with reference to FIG.
  • operation buttons shown in FIGS. 11A to 11D are displayed outside the display area where the projected moving image is displayed.
  • the operation button in FIG. 11A is a mode in which the display area of the screen moves without changing the two-dimensional plane on which the free viewpoint moving image is projected. Specifically, as shown in FIG. This is a mode that appears to translate (translation mode). The amount of movement is determined by the user specifying with the input device.
  • the operation button in FIG. 11B is a mode in which the two-dimensional plane on which the free viewpoint moving image is projected moves and changes, that is, a mode for the user that the viewpoint appears to rotate around a specific axis in the free viewpoint space.
  • the amount of movement is determined by the user specifying with the input device. For example, a projected moving image from a viewpoint as shown in FIG.
  • the operation buttons in FIG. 11C are for zooming in and out of the screen.
  • the enlargement amount and the reduction amount are determined by the user specifying with the input device.
  • the operation button in FIG. 11D is a mode in which an object in the screen is designated and rotated alone as shown in FIG.
  • the rotation axis can be arbitrarily set, and the rotation axis itself can be rotated. Such an operation is when the user desires a motion that does not exist in the original moving image.
  • the user operates a projection change interrupt processing button (not shown) when moving to the viewpoint P3 at time t3 and switching the viewpoint in the viewpoint directions ⁇ 1 and ⁇ 1.
  • a right mouse click is assigned as a projection change interrupt processing button, but which button is assigned is arbitrary.
  • the CPU 123 stops the reproduction display (step S311 in FIG. 14) and stores the timing at which the projection change interrupt processing button is selected (step S313).
  • the selected timing is stored as the elapsed time from the start of moving image reproduction, but may be the number of frames.
  • the operator of the user terminal 3 operates the zoom button shown in FIG. 11C and gives the zoom amount to the user terminal 3.
  • an interrupt processing end command is given.
  • the interrupt processing end instruction is given when the right mouse click is operated again in the interrupt mode.
  • the present invention is not limited to this.
  • the CPU 123 determines whether or not the end command is given (step S315), and stores the operation amount when the command is given (step S317). In this case, specifically, “zoom double” is stored at time t2. The CPU 123 cancels the display stop (step S319) and ends the projection change interrupt process.
  • the user operates a projection change interrupt processing button (not shown) at time t3.
  • the user switches the projection condition to the viewpoint P6, the viewpoint directions ⁇ 6, ⁇ 6, and zoom twice.
  • the projection change interrupt process is terminated, and the projection conditions are similarly switched to the viewpoint P7, the viewpoint directions ⁇ 7, ⁇ 7, and the zoom double. .
  • the user-specific operation data shown in FIG. 8D is stored in the user terminal.
  • the CPU 123 performs the point giving process of FIG. 15 for each unit time based on the operation processing program 126p.
  • CPU 123 determines whether the current mode is playback stop, playback, viewpoint movement, or object rotation (step S3). If playback is in progress, the point is set to “+1” (step S11).
  • the CPU 123 acquires the current viewpoint condition (step S21).
  • the viewpoint P101 and the viewpoint directions ⁇ 101 and ⁇ 101 are at time t101.
  • the CPU 123 determines the target area (step S23).
  • the target area is divided into a plurality of individual spaces as shown in FIG. 16, the individual that intersects the projection area specified by the distance L1 from the viewpoint condition (viewpoint P1, viewpoint direction ⁇ 1, ⁇ 1).
  • Space For the distance L1, a predetermined value is determined according to the attribute of each content.
  • L1 is set to be long when the entire area is large, such as a soccer game, and L1 is set to be short when the entire area is narrow, such as a table tennis game.
  • the individual areas B (211,487,599), B (212,488,598), B (213,489,600)... B (212,477,588) are determined as the target areas.
  • the CPU 123 gives the point determined in step S11 to the determined target area. Accordingly, as shown in FIG. 17, at time t101, one point is given to each of the individual regions B (211,487,599), B (212,488,598), B (213,489,600)... B (212,477,588).
  • the points to be given are changed according to the current mode. For example, in step S3 in step S15, if the current mode is moving the viewpoint, the point is set to “+2” (step S13). If the object is rotating, the point is set to “+3” (step S15).
  • the points are switched depending on how to stop. That is, if the stop is not due to the screen touch, the point is set to “0” (step S19), and if the stop is due to the screen touch, the point is set to “+1” (step S18).
  • the reason for changing the point depending on whether or not the screen is touched is that when the screen is stopped by touching, it is assumed that the user is paying attention to the display area on the screen.
  • the stop by the stop button (not shown) is assumed to be a state where attention is not paid to the display area such as removing the seat.
  • the CPU 123 of the user terminal determines whether or not the transmission condition is met (step S402), and when the transmission condition is met, transmits it to the three-dimensional advertisement space determination computer (step S403).
  • the elapsed time since storage is adopted as the transmission condition, and when the CPU 123 has passed a predetermined time, it is transmitted from the user terminal to the three-dimensional advertising space determination computer.
  • Such transmission conditions are not limited to these, and may be adopted after the viewing of the free viewpoint video or after the completion of a specific operation.
  • the user terminal may make an inquiry about whether there is a history to be transmitted from the three-dimensional advertisement space determination computer, and the user terminal may determine this.
  • the CPU 223 of the three-dimensional advertising space determination computer determines whether or not such a history has been received (step S404), and when received, stores it as history data for each user (step S405).
  • the CPU 223 of the three-dimensional advertisement frame determining computer performs a three-dimensional advertisement frame generation process (step S406).
  • the CPU 223 reads out the history data of each user (step S501) and totals every elapsed time (step S503).
  • the CPU 223 generates a heat map for each elapsed time.
  • the heat map is a visualization graph that expresses the total size of points in each individual space shown in FIG. In FIG. 20, although expressed in gray scale, in actuality, not only light and shade, but also colors are used properly (individual spaces with high numerical values are red, and individual spaces with low numerical values are green).
  • Such a heat map is generated every elapsed time.
  • FIG. 20 it can be seen that the group distribution of the individual areas of interest from time tm to time tn to time tp varies depending on the elapsed time.
  • CPU 223 determines a three-dimensional advertising space (step S507 in FIG. 19).
  • the three-dimensional advertisement frame is determined such that the number of individual areas configured as a group exceeds the total number threshold and the total number of points exceeds the total point threshold.
  • the CPU 223 requests the distribution computer 51 to distribute the three-dimensional advertising space for each content together with each content (step S509).
  • the distribution computer 51 distributes the three-dimensional advertising space when there is a distribution request for the content (free viewpoint video) in which the three-dimensional advertising space is set from the next time.
  • the group distribution is obtained by generating the heat map, but the connected individual areas may be determined from the sum of step S503.
  • the number of individual areas configured as a group has been determined as a three-dimensional advertisement frame that exceeds the total number threshold and the total number of points exceeds the total point threshold. Only one is acceptable. Another standard may be adopted.
  • an area where operation histories of a plurality of users overlap is obtained. That is, the AND operation is performed on the operation histories of a plurality of users.
  • the present invention is not limited to this, and if each individual area can be recognized as one area by performing an OR operation on the operation history from each user, this may be determined as a three-dimensional advertisement frame.
  • the areas obtained by the AND operation and the OR operation may be combined into one area. For example, if any of the 8 individual areas adjacent to a certain individual area is recognized as one group, the areas may be combined into one area.
  • the three-dimensional advertising space obtained by the AND operation may be combined into one area.
  • the attribute as a three-dimensional advertising space may be changed between the three-dimensional advertising space obtained by AND operation and the three-dimensional advertising space obtained by OR operation.
  • the former is an attention space that many users are paying attention to, even in a small area
  • a frame can be sold as an advertising space with a high advertising effect for a specific user layer.
  • the latter is not so high as an advertising effect for a specific user group, but it is also possible to sell a frame as an advertisement frame that is attracting attention by a wide user group.
  • the heat map is generated based on operation histories from a plurality of users, but the heat map may be generated based on the operation histories of one user.
  • the advertisement management computer 56P1 shown in FIG. 1 manages the advertisement space for the determined three-dimensional advertisement space. Specifically, it is sold to an advertisement requesting computer that desires an advertisement in the same manner as an advertising space on a conventional two-dimensional website. Since the processing for selling the advertising space is the same as that of the conventional Internet advertisement, a description thereof will be omitted.
  • the advertisement display process in the user terminal will be described with reference to FIG.
  • the CPU 223 reads the current viewpoint (step S601). It is determined whether or not there is a three-dimensional advertising space that matches the viewpoint (step S603), and if it matches, an advertisement is displayed in the three-dimensional advertising space (step S605).
  • an effective advertising space can be set by setting a common area for the space that the user is paying attention to as a free viewpoint video as a three-dimensional advertising space.
  • Whether or not there is a three-dimensional advertisement frame that matches the viewpoint in step S603 may be determined by determining the distance L as in step S23 of FIG. 15, but is not limited thereto.
  • the depth direction may not be a condition for matching in conformity with a three-dimensional advertisement frame. That is, when the straight line determined by the viewpoint Px and the viewpoint directions ⁇ 2 and ⁇ 2 passes through the three-dimensional advertisement frame, it may be determined that the straight lines are not limited to the depth direction.
  • the three-dimensional advertising space is distributed together with the content.
  • a free viewpoint video including an advertisement is generated in the three-dimensional advertising frame, You may make it broadcast.
  • the advertising space may be sold in advance for each three-dimensional advertising space, as in the case of conventional TV broadcasting.
  • the invention disclosed in the present embodiment can be grasped as the following system.
  • the content data composed of a free viewpoint video whose view point that can be viewed can be changed from the distribution computer is displayed on the display means, and the displayed specific viewpoint video data is displayed by the operator.
  • viewpoint characteristic change data for changing the viewpoint characteristic is given, a three-dimensional advertisement frame determination comprising a user terminal that displays specific viewpoint moving image data based on the viewpoint characteristic change data on the display means, and a three-dimensional advertisement frame determination computer
  • the user terminal further comprises: Attention space determination means for determining the attention space in the specific viewpoint video based on the specific viewpoint video data displayed on the display means; Transmitting means for transmitting the transition history of the space of interest to the three-dimensional advertising space determination computer;
  • the three-dimensional advertising space determination computer User-specific history data receiving means for receiving the transition history of the content data; 3D advertising space determining means for determining 3D advertising space for each content obtained from the user-specific history data;
  • a three-dimensional advertising space determination system characterized by comprising:
  • a free viewpoint video is generated at the user terminal, but the viewpoint switching data is given to the distribution device, the free viewpoint video is generated at the distribution device, and the user You may make it transmit to a terminal.
  • the free viewpoint moving image distribution system has the following configuration as shown in FIG.
  • a free-viewpoint video distribution system including a distribution computer, a user terminal, and a three-dimensional advertising space determination computer
  • the distribution computer comprises: Storage means for storing content data composed of a free viewpoint video whose viewable viewpoint can be changed; Distribution means for distributing the content data to a user terminal;
  • the user terminal comprises: Receiving means for receiving the content data; Display control means for displaying the generated specific viewpoint video data on a display means; Image change means for giving a switching instruction to the distribution computer when a switching instruction of a viewpoint and a viewpoint direction is given from the user for the specific viewpoint moving image data displayed on the display means;
  • the distribution computer has specific viewpoint image generation means for generating content data from a specific viewpoint based on the switching instruction for the content data when the switching instruction is given;
  • the distribution means distributes the generated content data to the user terminal
  • the user terminal further comprises: Attention space determination means for determining the attention space in the generated specific viewpoint video data; Transmitting means for transmitting the transition history data of the attention space to the three-dimensional
  • the change process of the free viewpoint video may be performed by either the distribution server or the user terminal.
  • Some free viewpoint moving images store position information of objects present in the free viewpoint moving images.
  • the distance L may have a width, and it may be determined whether or not an object exists within the width, and if it exists, the point may be increased.
  • an advertisement corresponding to the attribute of the object belonging to the three-dimensional advertisement frame can be made by giving the object attribute to the three-dimensional advertisement frame determining computer. For example, if a 3D advertising space contains a soccer kicker and the object attribute is set to “soccer shoes”, the 3D advertising space is given to an advertisement requester who wants to link to soccer shoes. Can be provided.
  • the center of the projection screen at the current viewpoint is estimated as the attention area, and the three-dimensional advertisement frame is generated.
  • the present invention is not limited to this, and the entire projection screen may be used.
  • the individual region located in the center may be weighted so that the point is high and the point is lowered as the distance increases.
  • the attention area of the user is set at the approximate center of the projection screen.
  • the eye tracking section can be provided in the user terminal, and the attention area of the user can be more reliably acquired from the detection result.
  • the XY direction is known, but the depth direction is unknown, and therefore, it may be determined in the same manner as in the above embodiment.
  • the configuration of the eye tracking unit a conventionally known one may be adopted.
  • the viewpoint condition change history is extracted and transmitted to the three-dimensional advertising space determination computer.
  • the attention area may be determined by a three-dimensional advertisement frame determination computer.
  • the time series data of the change history may be, for example, data at the switching timing as shown in FIG. 8 or may be a viewpoint condition for each time.
  • the content data composed of a free viewpoint video whose view point that can be viewed can be changed from the distribution computer is displayed on the display means, and the displayed specific viewpoint video data is displayed by the operator.
  • viewpoint characteristic change data for changing the viewpoint characteristic is given, a three-dimensional advertisement frame determination comprising a user terminal that displays specific viewpoint moving image data based on the viewpoint characteristic change data on the display means, and a three-dimensional advertisement frame determination computer
  • the user terminal further comprises: Attention space basic data generation means for generating attention space determination basic data for determining the attention space in the specific viewpoint moving image based on the specific viewpoint moving image data displayed on the display means; Transmitting means for transmitting the transition history of the space-of-interest basic data to the three-dimensional advertising space determination computer;
  • the three-dimensional advertising space determination computer User-specific history data receiving means for receiving the transition history of the content data; 3D advertising space determining means for determining 3D advertising space for each content obtained from the user-specific history data;
  • a three-dimensional advertising space determination system characterized by comprising:
  • the distance L for determining the attention area is fixed depending on the content, but the history data of a plurality of users is transmitted to the three-dimensional advertising space determination computer including the zoom rate, and this is referred to.
  • the three-dimensional advertisement space determination computer may be able to change dynamically. For example, in the content of a certain soccer game, at time tq, if the attention area determined by the distance L1 has been transmitted from each user, if the zoom rate at that time has been expanded, the distance L1 is reduced, The attention area may be recalculated. Thereby, it is possible to determine a region of interest in consideration of operation histories from a plurality of users.
  • the distance L is determined for each content at the user terminal. This is because the distance L must be determined by some method in the depth direction of the region of interest.
  • the stereoscopic advertisement frame determination computer may cause the time-series change of the viewpoint condition to be transmitted from each user terminal, and the stereoscopic advertisement frame determination computer may determine the depth from the viewpoint conditions of a plurality of users. Specifically, for a specific content, a history of viewpoint conditions from each user at each time is given to the three-dimensional advertising space determination computer. As shown in FIG.
  • the three-dimensional advertising space determination computer determines the distance to the position Pn where these different line-of-sight directions overlap if there are different line-of-sight directions Sm and Sn at the same playback time of the user Um and the user Un
  • the distances Lm and Ln may be used. Naturally, the distance L is also changed depending on the time in the content. Thereby, the determination of the depth direction with respect to the attention area becomes more reliable.
  • the zoom rate may be different depending on the user even for the same content, the distances Lm and Ln and a plurality of distances can be set. However, this may be common for each content. .
  • the attention area may be determined not only by the user terminal but also by a three-dimensional advertisement space determination computer.
  • the free viewpoint video change process and the attention area determination process can be performed by any computer.
  • the set advertising space is displayed when the current viewpoint condition matches the three-dimensional advertising space. Specifically, if the viewpoint condition matches in the three-dimensional advertisement frame, the display is performed from any direction. That is, it is a method of displaying a two-dimensional advertisement frame regardless of the viewpoint direction. However, the following display is also possible as a way of displaying such advertisement.
  • One is to display an advertisement in a certain direction with respect to the above-mentioned advertising space, as in the real world, and to convert and display an image from the current viewpoint condition. In this case, an unusual display is possible even in a two-dimensional advertisement. Further, by making the advertisement three-dimensional (three-dimensional), an advertisement that differs depending on the viewpoint direction is also possible.
  • the three-dimensional advertisement frame may be further divided according to the line-of-sight direction and set as the advertisement frame.
  • one three-dimensional advertisement frame may be divided into 0-180 degrees and 180-360 degrees in the XY direction, and each may be set as an advertisement frame.
  • Such a division number can be divided into arbitrary division numbers in the XYZ directions.
  • a two-dimensional advertisement frame is set as a three-dimensional advertisement frame.
  • a three-dimensional advertisement frame may be set as a three-dimensional advertisement frame.
  • the viewpoint conditions of a free viewpoint video can be freely switched.
  • the viewpoint conditions cannot be switched at first, and the viewpoint switching is performed when the displayed advertisement is clicked.
  • restrictions may be placed on the viewpoint switching function.
  • the operation processing program 126p of the user terminal may execute a process of determining whether or not a switching permission flag that can switch the viewpoint condition when the advertisement is clicked is set.
  • the switching permission flag may be turned on when the advertisement is clicked.
  • a predetermined value is determined for the distance L1 according to the attribute of each content.
  • the distance L1 may be stored in the content as a parameter and distributed.
  • the viewpoint coordinates and the viewpoint directions ⁇ and ⁇ are stored.
  • one recommended viewpoint is supplied, but for one free-viewpoint video, videos from a plurality of viewpoints are displayed on the screen, and the individual configured by the user at the user terminal The combination of videos may be changed. By storing such a history, the configuration of the free viewpoint moving image can be switched.
  • the processing of the user terminal is executed by a browser program, but it is also possible to install dedicated hardware or software.
  • the user terminal may be a mobile terminal instead of a personal computer.
  • this is realized by software using a CPU.
  • some or all of them may be realized by hardware such as a logic circuit.
  • OS operating system
  • the viewpoint of the free viewpoint image is arbitrary.
  • the moving image from such a viewpoint may be captured with a camera attached to a player or a referee, or may be generated from a moving image captured from the outside. is there.
  • a free viewpoint video is projected onto a two-dimensional plane. If it is set to, a problem arises as to whether an effective advertisement can be made.
  • the present invention can be similarly applied to such three-dimensional moving image data. For example, when a viewpoint condition is switched for a holographic image of a three-dimensional smoke screen, a three-dimensional advertisement frame can be set in the same manner on the three-dimensional smoke screen. In this case, the distance L may be determined in the same manner as in the above embodiment.
  • the viewpoint condition of the free viewpoint can be changed with an icon as shown in FIG. 11, but the mouse pointer itself may be an operation icon instead of such an icon display.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Databases & Information Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】　自由視点動画における効果的な広告枠を提供する。　【解決手段】　配信コンピュータ５１は、各ユーザ端末５０AN１～５０ANKに自由視点動画データを配信する。ユーザ端末５０AN１～５０ANKは受信した自由視点動画データから、動画を生成して表示する。ユーザ端末５０AN１～５０ANKは、表示された画像について注目されている領域の履歴データを抽出し、これを立体広告枠決定コンピュータ５２に送信する。立体広告枠決定コンピュータ５２はユーザID毎、コンテンツID毎に前記履歴データを記憶し、各コンテンツIDについて、複数のユーザの注目領域から共通の領域を抽出して、当該領域を立体広告枠として決定する。　

Description

立体広告枠決定システム、ユーザ端末および立体広告枠決定コンピュータ
　この発明は、自由視点動画データにおける立体広告枠決定システムに関し、特に、広告枠の設定に関する。
　特許文献１には、自由視点動画データについて、自由視点からの任意の投影枠を広告枠として表示することが開示されている。
　かかるシステムにおいては、広告枠を３Ｄ空間に設定できるので、従来の２Ｄ画面における広告と異なり、無数の広告枠を設定することができる。
特開2014-41259号公報
　しかしながら、特許文献１に記載の方法では、以下のような問題があった。本来、広告枠は広告効果のために設定するものであるにもかかわらず、少しずれただけで広告が表示されないという問題があった。
　この発明は、自由視点動画において効果的な広告枠を設定可能な広告システムを提供することを目的とする。
　この発明の特徴、他の目的、用途、効果等は、実施例および図面を参酌することにより明らかになるであろう。
　１）本発明にかかる立体広告枠決定システムは、配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って、特定視点からの動画データを表示手段に表示するとともに、前記表示された特定視点動画データについて、操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づいた特定視点動画データを前記表示手段に表示するユーザ端末、および立体広告枠決定コンピュータで構成される立体広告枠決定システムであって、A）前記ユーザ端末はさらに下記を備え、
　前記表示手段に表示される特定視点動画データに基づいて、この特定視点動画における注目空間を決定する注目空間決定手段、前記注目空間の変遷履歴を前記立体広告枠決定コンピュータに送信する送信手段、B）前記立体広告枠決定コンピュータは、前記コンテンツデータについて前記変遷履歴を受信するユーザ別履歴データ受信手段、前記ユーザ別履歴データから求めたコンテンツ別の立体広告枠を決定する立体広告枠決定手段を備えている。
　したがって、効果的な広告枠を設定可能な立体広告枠決定システムを提供することができる。
　２）本発明にかかる立体広告枠決定システムは、配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って、特定視点からの動画データを表示手段に表示するとともに、前記表示された特定視点動画データについて、操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づいた特定視点動画データを前記表示手段に表示するユーザ端末、および立体広告枠決定コンピュータで構成される立体広告枠決定システムであって、A）前記ユーザ端末はさらに下記を備え、前記表示手段に表示される特定視点動画データに基づいて、前記特定視点動画における注目空間を決定するための注目空間決定基礎データを生成する注目空間基礎データ生成手段、前記注目空間基礎データの変遷履歴を前記立体広告枠決定コンピュータに送信する送信手段、B）前記立体広告枠決定コンピュータは、前記コンテンツデータについて前記変遷履歴を受信するユーザ別履歴データ受信手段、前記ユーザ別履歴データから求めたコンテンツ別の立体広告枠を決定する立体広告枠決定手段、を備えている。
　したがって、効果的な広告枠を設定可能な立体広告枠決定システムを提供することができる。
　３）本発明にかかる立体広告枠決定システムにおいては、前記立体広告枠決定手段は、前記複数のユーザ別の変遷履歴からコンテンツ別の立体広告枠を決定する。したがって、複数のユーザ別の変遷履歴からコンテンツ別の立体広告枠を決定することができる。
　４）本発明にかかる立体広告枠決定システムにおいては、前記立体広告枠決定手段は、前記複数のユーザ別の変遷履歴における重複注目空間から前記立体広告枠を決定する。したがって、複数のユーザ別の変遷履歴における重複注目空間からコンテンツ別の立体広告枠を決定することができる。
　５）本発明にかかる立体広告枠決定システムにおいては、前記立体広告枠は、前記コンテンツデータを視聴したユーザの視点条件によって時系列に変動する立体広告枠である。したがって、実際にユーザが視聴した視点条件において変動する時系列立体広告枠を提供することができる。
　６）本発明にかかる立体広告枠決定システムにおいては、前記注目空間決定手段は、現在指定されている視点および視点方向からの表示領域であり、かつ、与えられた奥行特定データで決定される空間領域を前記注目空間として決定する。したがって、任意の空間領域を時系列立体広告枠として提供することができる。
　７）本発明にかかる立体広告枠決定システムにおいては、前記奥行特定データは、前記コンテンツデータに付加されている。したがって、コンテンツの特性に応じて、奥行き方向における注目領域を決定することができる。
　８）本発明にかかる立体広告枠決定システムにおいては、前記奥行特定データが、前記コンテンツによって変動する。したがって、コンテンツによって、前記奥行き方向における注目領域を変更することができる。
　９）本発明にかかる立体広告枠決定システムにおいては、前記奥行特定データが、自由視点動画のズーム率に応じて変動する。これにより、ズームで拡大縮小した場合に、奥行き方向の注目領域を変更することができる。
　１０）本発明にかかる立体広告枠決定システムにおいては、前記注目空間決定手段は、指定されている視点および視点方向からの表示領域であり、かつ、与えられた奥行特定データで決定される空間領域全体を前記注目空間として決定する。したがって、前記空間領域全体を前記注目空間として扱うことができる。
　１１）本発明にかかる立体広告枠決定システムにおいては、前記注目空間決定手段は、指定されている視点および視点方向からの表示領域であり、かつ、与えられた奥行特定データで決定される空間領域の一部を前記注目空間として決定する。したがって、前記空間領域の一部についてを前記注目空間として扱うことができる。
　１２）本発明にかかる立体広告枠決定システムにおいては、前記注目空間決定手段は、指定されている視点および視点方向からの表示領域であり、かつ、与えられた奥行特定データで決定される空間のほぼ中央領域を前記注目空間として決定する。したがって、前記空間領域のほぼ中央を前記注目空間として扱うことができる。
　１３）本発明にかかる立体広告枠決定システムにおいては、前記注目空間決定手段は、指定されている視点および視点方向からの表示領域であり、かつ、与えられた奥行特定データで決定される空間における移動オブジェクトが存在する領域である。したがって、前記移動オブジェクトが存在する領域を前記注目空間として扱うことができる。
　１４）本発明にかかる立体広告枠決定システムにおいては、前記注目空間決定手段は、前記検出された領域について、周辺にいくほど重み付けを小さくする。したがって、前記空間領域について、より中央近辺を強調した立体広告枠を設定できる。
　１５）本発明にかかる立体広告枠決定システムにおいては、前記注目空間決定手段は、前記検出された領域について、ＸＹ方向に離れるほど重み付けを小さくする。したがって、前記空間領域について、ＸＹ方向の中央近辺を強調した立体広告枠を設定できる。
　を特徴とする立体広告枠決定システム。
　１６）本発明にかかる立体広告枠決定システムにおいては、前記注目空間決定手段は、前記検出された領域について、奥行き方向に離れるほど重み付けを小さくする。したがって、前記空間領域について、奥行き方向の中央近辺を強調した立体広告枠を設定できる。
　１７）本発明にかかる立体広告枠決定システムにおいては、前記注目空間決定手段は、現在のユーザが注目している空間を検出する注目空間検出手段を有しており、かかる注目空間検出手段により検出された領域を前記注目空間として決定する。したがって、現実の注目領域に基づいた立体広告枠を生成することができる。
　１８）本発明にかかる立体広告枠決定コンピュータは、下記ユーザ端末と接続される立体広告枠決定コンピュータであって、前記ユーザ端末は、視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って特定視点からの動画データを表示手段に表示するとともに前記表示された特定視点動画データについて操作者から視点特性を変更する視点特性変更データが与えられるとこの視点特性変更データに基づいた特定視点動画データを表示するユーザ端末、下記手段を備えている。前記表示手段に表示された各特定視点動画データの注目空間の変遷履歴を、ユーザ別履歴データとして受信するユーザ別履歴データ受信手段、前記ユーザ別履歴データを前記コンテンツ別に記憶するユーザ別履歴データ記憶手段、前記ユーザ別履歴データから前記コンテンツの立体広告枠を決定する立体広告枠決定手段。
　したがって、前記注目空間のユーザ別履歴から決定した立体広告枠を得ることができる。
　１９）本発明にかかる立体広告枠決定コンピュータは、下記ユーザ端末と接続される立体広告枠決定コンピュータであって、前記ユーザ端末は、視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って、特定視点からの動画データを表示手段に表示するとともに、前記表示された特定視点動画データについて、操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づいた特定視点動画データを表示するユーザ端末であって、前記ユーザ端末に表示される特定視点動画データにおける注目空間を決定するための注目空間決定基礎データの変遷履歴を受信するユーザ別履歴データ受信手段、前記注目空間決定基礎データの変遷履歴を記憶する記憶手段、前記注目空間決定基礎データの変遷履歴から、ユーザ別の注目空間の履歴を決定する決定手段、前記ユーザ別の注目空間の履歴に基づいて、コンテンツ別の立体広告枠を決定する立体広告枠決定手段を備えている。
　したがって、前記注目空間決定基礎データの変遷履歴から決定した立体広告枠を得ることができる。
　２０）本発明にかかるユーザ端末は、配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って、特定視点からの動画データを表示手段に表示するとともに、前記表示された特定視点動画データについて、ユーザ端末の操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づいた特定視点動画データを前記表示手段に表示するユーザ端末であって、前記表示手段に表示される特定視点動画データに基づいて、この特定視点動画における注目空間を決定する注目空間決定手段、前記注目空間の変遷履歴を前記立体広告枠決定コンピュータに送信する送信手段を備えている。したがって、前記特定視点動画データにおける注目空間を、前記立体広告枠決定コンピュータに供給することができる。
　２１）本発明にかかるユーザ端末は、配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って、特定視点からの動画データを表示手段に表示するとともに、前記表示された特定視点動画データについて、ユーザ端末の操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づいた特定視点動画データを前記表示手段に表示するユーザ端末であって、前記表示手段に表示される特定視点動画データにおける注目空間を決定するための注目空間決定基礎データを生成する注目空間基礎データ生成手段、前記注目空間基礎データの変遷履歴を前記立体広告枠決定コンピュータに送信する送信手段を備えている。したがって、前記注目空間基礎データの変遷履歴から立体広告枠決定コンピュータにて、立体広告枠を決定することができる。
　２２）本発明にかかる立体広告枠決定方法は、配信コンピュータ、ユーザ端末および立体広告枠決定コンピュータを接続し、前記配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを前記ユーザ端末が受け取って、特定視点からの動画データを前記ユーザ端末に表示するとともに、前記表示された特定視点動画データについて、操作者から視点特性を変更する視点特性変更データが与えられると、前記ユーザ端末は、この視点特性変更データに基づいた特定視点動画データを表示する立体広告枠決定方法であって、A）前記ユーザ端末は下記ステップを備え、前記表示される特定視点動画データに基づいて、この特定視点動画における注目空間を決定するステップ、前記注目空間の変遷履歴を前記立体広告枠決定コンピュータに送信するステップ、B）前記立体広告枠決定コンピュータは、前記コンテンツデータについて前記変遷履歴を受信すると、前記ユーザ別履歴データから求めたコンテンツ別の立体広告枠を決定する。したがって、効果的な立体広告枠を供給することができる。
　２３）本発明にかかる立体広告枠決定方法は、配信コンピュータ、ユーザ端末および立体広告枠決定コンピュータを接続し、前記配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを前記ユーザ端末が受け取って、特定視点からの動画データを前記ユーザ端末に表示するとともに、前記表示された特定視点動画データについて、操作者から視点特性を変更する視点特性変更データが与えられると、前記ユーザ端末は、この視点特性変更データに基づいた特定視点動画データを表示する立体広告枠決定方法であって、
　A）前記ユーザ端末は下記ステップを備え、前記表示手段に表示される特定視点動画データに基づいて、前記特定視点動画における注目空間を決定するための注目空間決定基礎データを生成するステップ、前記注目空間基礎データの変遷履歴を前記立体広告枠決定コンピュータに送信するステップ、B）前記立体広告枠決定コンピュータは、前記コンテンツデータについて前記変遷履歴を受信すると、この変遷履歴から求めたコンテンツ別の立体広告枠を決定する。したがって、効果的な立体広告枠を供給することができる。
　２４）本発明にかかるデータは、ユーザ端末より受信したコンテンツ別の注目空間の変遷履歴データであって、コンテンツ別に、ユーザ端末に表示された自由視点動画についての各再生時刻におけるユーザの注目空間領域を特定する領域特定情報が時系列に構成されたデータである。したがって、かかる変遷履歴データを複数収集することにより、コンテンツ別の重複注目空間を立体広告枠として決定することができる。
　２５）本発明にかかるデータは、ユーザ端末の表示手段に表示される特定視点動画データに基づいて決定された前記特定視点動画における注目空間を決定するための注目空間決定基礎データであって、コンテンツ別に、ユーザ端末に表示された自由視点動画についての各再生時刻におけるユーザの注目空間領域を特定するための注目空間決定基礎データが時系列に構成されたデータ。したがって、かかる変遷履歴データを複数収集することにより、コンテンツ別の重複注目空間を立体広告枠として決定することができる。
　本明細書において、自由視点動画とは、視点を自由に切り替えてコンテンツを表示できる動画はすべて含む。また、視点特性変更データとは、視点および視点方向の組み合わせの少なくとも一方が変更されるデータであって、かつ、開始からの相対経過時間における変更データをいい、本実施形態においては、視点、視点方向、ズームおよび相対経過時間の組み合わせで構成した。なお、ズームは必須ではない。また、再生開始から再生終了まで、１の視点および視点方向で動画再生する場合には、１の視点および視点方向で構成される。また、これ以外の他の視点特性を変更するデータを含んでもよい。また、現在の視点特性からの相対な変化量で表してもよい。
自由視点動画配信システム１の概要を示す図である。 自由視点動画配信システム１における配信コンピュータ、ユーザ端末、および立体広告枠決定コンピュータの機能ブロック図である。 配信コンピュータ２のハードウェア構成である。 自由視点動画の一例を示す。 ユーザ端末のハードウェア構成である。 立体広告枠決定コンピュータのハードウェア構成を示す図である。 自由視点動画配信表示処理のフローチャートである。 視点特性データのデータ構造の一例である。 投影表示処理のフローチャートである。 ユーザ端末に表示される自由視点映像の一例である。 ユーザ端末に表示される操作ボタンの一例である。 ユーザ端末に表示される自由視点映像の一例である。 自由視点映像において対象物の回転処理を説明する図である。 投影変更割り込み処理のフローチャートである。 ポイント付与処理のフローチャートである。 個別領域と注目領域の関係を説明する図である。 配信サーバ２に記憶されたユーザ別操作データのデータ構造を示す。 履歴データの送信処理フローチャートである。 異なる時刻におけるヒートマップの一例である。 立体広告枠決定処理フローチャートである。 広告処理フローチャートである。 第２実施形態における配信コンピュータ、ユーザ端末、立体広告枠決定コンピュータの機能ブロック図である。 立体広告枠決定コンピュータにおける距離Lの決定処理を説明する図である。
１・・・・ 自由視点動画配信システム
　　２３・・・ＣＰＵ
　　２７・・・メモリ
　　１２３・・・ＣＰＵ
　　１２７・・・メモリ
　　２２３・・・ＣＰＵ
　　２２７・・・メモリ
自由視点動画配信システム１の概要
　図１に、本発明にかかる自由視点動画配信システム１の構成を示す。自由視点動画配信システム１は、配信コンピュータ５１と、複数のユーザ端末５０AN１～５０ANM、５０ANN～５０ANRおよび立体広告枠決定コンピュータ５２、広告管理コンピュータ５６P1を有している。
　配信コンピュータ５１は、各ユーザ端末５０AN１～５０ANKに対して、コンテンツIDが特定された自由視点動画データおよび視聴する視点を変更するための視点特性データ（視点および視点方向）を配信する。
　各ユーザ端末５０AN１～５０ANKは、受信した自由視点動画データおよび視点特性データから、動画を生成して表示する。表示された特定視点動画データについて、ユーザ端末の操作者から視点特性を変更する視点特性変更データが与えられると、ユーザ端末５０AN１～５０ANKは、この視点特性変更データに基づく特定視点動画データを生成する。ユーザ端末５０AN１～５０ANKは、表示された画像について注目されている領域の履歴データを抽出し、これを立体広告枠決定コンピュータ５２に送信する。
　立体広告枠決定コンピュータ５２はユーザID毎、コンテンツID毎に前記履歴データを記憶し、各コンテンツIDについて、複数のユーザの注目領域から共通の領域を抽出して、当該領域を立体広告枠として決定する。
　決定された立体広告枠は、配信コンピュータ５１に送信されて、各自由視点動画を配信する際に、ユーザ端末５０ANN～５０ANRに配信される。
　広告管理コンピュータ５６P1は、広告依頼コンピュータ(図示せず)からの要請に応じて、前記各コンテンツの立体広告枠について合致する広告条件の立体広告枠があれば、出稿指示を行う。これにより、ユーザ端末５０ANN～５０ANRに、各自由視点動画において、多くのユーザが注目する空間に立体広告枠が設定される。このような立体的な広告枠を設定することにより、ざっくりとした広告領域が定義されるため、自由視点動画であっても効果的な広告枠を設定することができる。
機能ブロック図
　図２に、自由視点動画配信システム１における配信コンピュータ５１、ユーザ端末５０AN1、および立体広告枠決定コンピュータ５２の機能ブロック図を示す。
　２．１　配信コンピュータ５１
　配信コンピュータ５１は、記憶手段４、配信手段５を備えている。記憶手段４は、視聴する視点を変更可能な自由視点動画データを複数記憶する。配信手段５は、自由視点動画データのIDを特定した配信要求があると、特定された自由視点動画データを、配信要求したユーザ端末５０AN１に配信する。
　２．２　ユーザ端末５０AN1
　ユーザ端末５０AN１は、要求手段６１、受信手段６２、記憶手段６３、特定視点画像生成手段６４、表示制御手段６５、表示手段６６、および画像変更手段６７、注目空間決定手段６８、および送信手段６９を備えている。
　要求手段６１は、配信コンピュータ５１に対して自由視点動画データを要求する。受信手段６２は配信コンピュータ５１から送られてきた自由視点動画データを受信する。記憶手段６３は、受け取った自由視点動画データを記憶する。特定視点画像生成手段６４は、視点特性データが与えられると、記憶された自由視点動画データについて前記視点特性データに基づいた特定視点動画データを生成する。表示制御手段１２は、前記生成された特定視点動画データを表示手段１３に表示させる。画像変更手段１５は、表示手段１３に表示された特定視点動画データについて、ユーザ端末５０AN1の操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づく特定視点動画データを視点画像生成手段６４に生成させる。注目空間決定手段６８は、生成された特定視点動画データにおける注目空間を決定する。送信手段６９は、前記注目空間の変遷履歴データを立体広告枠決定コンピュータ５２に送信する
　２．３　立体広告枠決定コンピュータ５２
　立体広告枠決定コンピュータ５２のユーザ別操作データ受信手段７３は、注目空間の変遷履歴データを受信する。ユーザ別操作データ記憶手段７２は、前記受信したユーザ別の注目空間の変遷履歴データをユーザ別履歴データとして記憶する。立体広告枠決定手段７１は、前記複数のユーザのユーザ別履歴データから求めたコンテンツ別の重複注目空間を立体広告枠として決定する
　立体広告枠決定手段７１は、配信コンピュータ５１に自由視点動画データごとに広告枠情報として、前記立体広告枠を送信する。配信コンピュータ５１は、受け取った立体広告枠を対応する自由視点動画データとともに記憶し、別のユーザ端末から自由視点動画データの配信要求があると、対応する立体広告枠を併せて配信する。
　このように、各自由視点動画データについて、複数のユーザのユーザ別履歴データから求めた重複注目空間を立体広告枠として設定することにより、自由視点動画であっても効果的な広告枠の設定が可能となる。
　図２においては、ユーザ端末５０AN1を代表として、説明したが、他のユーザ端末の機能についても同様である。
　３．ハードウェア構成
　３．１　配信コンピュータ２のハードウェア構成
　配信コンピュータ２のハードウェア構成について、図３を用いて説明する。同図は、配信コンピュータ２を、ＣＰＵを用いて構成したハードウェア構成の一例である。
　配信コンピュータ２は、ＣＰＵ２３、メモリ２７、ハードディスク２６、モニタ３０、光学式ドライブ２５、入力デバイス２８、通信ボード３１、およびバスライン２９を備えている。ＣＰＵ２３は、ハードディスク２６に記憶された各プログラムにしたがいバスライン２９を介して、各部を制御する。
　ハードディスク２６は、オペレーティングシステムプログラム２６ｏ（以下ＯＳと略す）、メインプログラム２６ｐが記憶される。メインプログラム２６ｐの処理の詳細は後述するが、ユーザ端末から動画IDを特定した配信要求を受けると、対応する自由視点動画データを配信する。
　自由視点動画データ記憶部２６dには、複数の自由視点動画が記憶されている。各自由視点動画は、動画データID、再生時間、インデックスワードを有する（図示せず）。図４に自由視点動画の一例を示す。この例では、XYZ座標系において、1人のダンサーが移動しながら踊っている自由視点動画である。また、視点P1、視点方向θ１、φ１、ズーム無しでの投影画像とするための初期投影条件が付与されている。本実施形態においては、視点方向として、水平角度θおよび仰角φで特定したが他の特定方法であってもよい。
　本実施形態においては、オペレーティングシステムプログラム（ＯＳ）２６ｏとして、Windows2008R2（登録商標または商標）を採用したが、これに限定されるものではない。
　なお、上記各プログラムは、光学式ドライブ２５を介して、プログラムが記憶されたＣＤ－ＲＯＭ２５ａから読み出されてハードディスク２６にインストールされたものである。なお、ＣＤ－ＲＯＭ以外に、フレキシブルディスク（ＦＤ）、ＩＣカード等のプログラムをコンピュータ可読の記録媒体から、ハードディスクにインストールさせるようにしてもよい。さらに、通信回線を用いてダウンロードするようにしてもよい。
　本実施形態においては、プログラムをＣＤ－ＲＯＭからハードディスク２６にインストールさせることにより、ＣＤ－ＲＯＭに記憶させたプログラムを間接的にコンピュータに実行させるようにしている。しかし、これに限定されることなく、ＣＤ－ＲＯＭに記憶させたプログラムを光学式ドライブ２５から直接的に実行するようにしてもよい。なお、コンピュータによって、実行可能なプログラムとしては、そのままインストールするだけで直接実行可能なものはもちろん、一旦他の形態等に変換が必要なもの（例えば、データ圧縮されているものを、解凍する等）、さらには、他のモジュール部分と組合して実行可能なものも含む。
　３．２　ユーザ端末５０AN1のハードウェア構成
　ユーザ端末５０AN1のハードウェア構成を図５に示す。ハードディスク１２６にはブラウザプログラム１２６b、操作処理プログラム１２６pが記憶されている。ＣＰＵ１２３はブラウザプログラム１２６bにより、自由視点動画をモニタ１３０に表示する。ＣＰＵ１２３は操作処理プログラム１２６pに基づき、ユーザがおこなった所定の操作による視点切り替え画像の生成及び、単位時間毎の注目領域の履歴データを履歴記憶部１２６rに記憶する。かかる視点切り替え画像の生成および履歴データについては後述する。
　ＣＰＵ１２３は、前記単位時間毎の注目領域の履歴データを立体広告枠決定コンピュータ５２に送信する。
　他の構成は一般的なパソコンなどと同じである。なお、ユーザ端末は、タブレットコンピュータ、スマートフォン、ゲーム機、スマートテレビ、その他の家電製品などであってもよい。
　また、操作処理プログラム１２６pは予めハードディスク１２６に記憶するようにしたが、これは必要なプログラムをブラウザプログラムにプラグイン処理で実行させるようにしてもよい。
　また、本実施形態においては、ハードディスク１２６に、ブラウザプログラム１２６P、操作処理プログラム１２６p、投影変更履歴記憶部１２６rが記憶されている場合について説明したが、これらの記憶場所については限定されない。
　３．３　立体広告枠決定コンピュータ５２のハードウェア構成
　立体広告枠決定コンピュータ５２のハードウェア構成を図６に示す。ハードディスク２２６には、各ユーザ端末から受け取った単位時間毎の注目領域の履歴データを記憶する。ＣＰＵ２２３はメインプログラム２２６pに基づき、配信コンピュータ５１が配信した自由視点動画毎に、立体広告枠を決定する。
　他の構成は一般的なコンピュータと同様である。
　４.　フローチャート
（４．１　自由視点動画配信処理）　
　図７を用いて、自由視点動画配信表示処理について説明する。
　ユーザ端末５０AN1のＣＰＵ１２３は、ユーザから配信要求命令があるか否か判断しており（図７ステップＳ２０１）、配信要求命令があれば、配信要求を配信コンピュータに送信する（ステップＳ２０２）。配信コンピュータのＣＰＵ２３(図３参照)は、ユーザ端末５０AN1から自由視点動画IDを特定した配信要求があるか否か判断しており（ステップＳ２０３）、かかる配信要求があると、ＣＰＵ１２３は、自由視点動画および設定データを、ユーザ端末５０AN1に配信する（ステップS２０７）。本実施形態においては、設定データとして、図８Ｃの視点特性データとした。
　ユーザ端末５０AN1のＣＰＵ１２３は、自由視点動画を受信するか否か判断しており（ステップＳ２０８）、自由視点動画を受信すると前記設定データを用いて、投影処理を行う（ステップＳ２０９）。
　このようにして、自由視点動画IDを複数種類記憶しておき、リスト要求があるとこれをユーザ端末に送信して、ユーザ端末にてリスト表示し、ユーザが選択した特定の自由視点動画をユーザ端末に配信することができる。
（４．２　投影表示処理）
　　ステップS２０９の投影処理について図９を用いて説明する。ユーザ端末３は、表示画面の再生ボタン（図示せず）が選択されると、配信された自由視点動画データおよび設定データから投影画像を生成して、モニタ１３０に表示する（図９ステップS３０１）。
　この場合、図８Cの視点特性データから、二次元投影データが生成される。図８Cに示す設定データは、時刻t0にて視点P1、視点方向θ１、φ１での投影画像、時刻t2にて視点P2に移動して、視点方向θ２、φ２での投影画像、時刻t3にて視点P3に移動して視点方向θ３、φ３での投影画像、時刻t4にて視点P4に移動して視点方向θ４、φ４にて投影画像、ズーム2倍、時刻t5にて視点P5に移動して視点方向θ５、φ５、ズーム2倍にて投影画像を生成するというデータである。この場合、対象の自由視点動画が時間の経過とともに、1名のダンサーが位置を変えつつ踊る動画だとすると、図１０に示すように、視点および視点方向が切り替わるような投影動画が表示される。
　なお、自由視点動画からの投影画像の生成については周知の座標変換技術を用いればよい。
（４．３　ユーザによる投影変更処理）
　ユーザ端末５０AN1では、前記設定データに基づく表示がなされるが、かかる表示は、ユーザが所望の切り替え処理をすることにより、投影画像が変更される。本実施形態においては、「視点」、「視点方向」、および「ズームの有無」を切り替えることにより、投影画像を切り替え表示できるようにした。かかる投影画像の変更について図１１を用いて説明する。
　ユーザ端末３には投影動画が表示される表示領域の外に、図１１A～Dの操作ボタンが表示される。図１１Aの操作ボタンは、自由視点動画が投影される二次元平面については変更せずに、画面の表示領域が移動するモード、具体的には、図１２に示すように、ユーザにとっては視点が平行移動するように見えるモード（平行移動モード）である。移動量は、ユーザが入力デバイスにて指定することにより決定される。
　図１１Bの操作ボタンは、自由視点動画が投影される二次元平面が移動するとともに変更するモード、すなわちユーザにとっては自由視点空間における特定軸を中心に視点が回転移動するように見えるモードである。移動量は、ユーザが入力デバイスにて指定することにより決定される。例えば、図１０に示すような視点からの投影動画となる。
　図１１Ｃの操作ボタンは、画面のズームイン・ズームアウトである。拡大量および縮小量はユーザが入力デバイスにて指定することにより決定される。図１１Ｄの操作ボタンは、図１３のように画面内のオブジェクトを指定して、単体で回転させるモードである。回転軸は任意に設定可能であり、さらに、回転軸自体も回転させることができる。かかる操作は、もともとの動画には存在しない動きをユーザが望む場合である。
　自由視点動画の再生中に、各操作ボタンが選択された場合の投影画像の変更について、説明する。以下では、図８Cの投影条件で再生したユーザが、時刻t2で視点は同じでズームを2倍とし、その後、t3で視点P6、時刻t4で視点P７へ切り替えた場合について説明する。
　ユーザは、時刻t3にて視点P3に移動して視点方向θ１、φ１にて視点が切り替わった時に、投影変更割り込み処理ボタン(図示せず)を操作する。本実施形態においては、投影変更割り込み処理ボタンとして、マウスの右クリックを割り当てたがどのボタンを割り当てるかは任意である。これより、図１４に示す投影変更割り込み処理が開始する。ＣＰＵ１２３は、再生表示を停止し(図１４ステップS３１１）、前記投影変更割り込み処理ボタンが選択されたタイミングを記憶する（ステップS３１３）。本実施形態においては、選択されたタイミングは動画再生スタートからの経過時間で記憶するようにしたが、フレーム数などであってもよい。
　ユーザ端末３の操作者は、図１１Ｃに示すズームボタンを操作するとともに、ズーム量をユーザ端末３に与える。ここで所望の処理は、ズームだけなので、割り込み処理終了命令を与える。本実施形態においては、かかる割り込みモードで再度、マウスの右クリックが操作された場合に、この割り込み処理終了命令が与えられるとしたが、これに限定されない。
　ＣＰＵ１２３は、かかる終了命令が与えられるか否か判断しており(ステップS３１５)、かかる命令が与えられると、操作量を記憶する（ステップS３１７）。この場合、具体的には、時刻t2にて、「ズーム２倍」が記憶される。ＣＰＵ１２３は、表示停止を解除し（ステップS３１９）、投影変更割り込み処理を終了する。
　これにより動画の再生がされる。つぎに、ユーザは、時刻t3にて、投影変更割り込み処理ボタン(図示せず)を操作する。ユーザは、視点P6、視点方向θ6、φ6、ズーム2倍に投影条件を切り替える。投影変更割り込み処理を終了し、時刻t4にて、同様にして、視点P7、視点方向θ７、φ７、ズーム2倍に投影条件を切り替える。　　　　
　このようにして、ユーザ端末に、図８Dに示すユーザ別操作データが記憶される。
（４．４　注目領域の決定処理）
　つぎに、本発明にかかる注目領域の決定処理について説明する。ＣＰＵ１２３は、操作処理プログラム１２６pに基づき、単位時間毎に図１５のポイント付与処理を行う。
　ＣＰＵ１２３は、現在のモードが再生停止か、再生中か、視点移動中か、オブジェクトの回転中かを判断する（ステップS３）。再生中である場合には、ポイントを「＋１」とする（ステップS１１）。
　ＣＰＵ１２３は現在の視点条件を取得する（ステップS２１）。ここでは、時刻t101にて視点P101、視点方向θ101、φ101だったものとする。ＣＰＵ１２３は対象領域を決定する（ステップS２３）。本実施形態においては、対象領域を図１６に示すように複数の個別空間に分割した場合に、前記視点条件（視点P1、視点方向θ１、φ１）から距離L1で特定される投影領域と交わる個別空間とした。距離L1については各コンテツの属性に応じて所定の値を決めておくようにした。例えばサッカーの試合のように全体としての領域が広い場合はL1を長めに、卓球の試合などのように全体としての領域が狭い場合は、L1を短めに設定しておく。ここでは個別領域B(211,487,599),B(212,488,598),B(213,489,600)・・・B(212,477,588),が対象領域として決定されたものとする。
　ＣＰＵ１２３は、前記決定された対象領域にステップS１１で決定したポイントを付与する。これにより、図１７に示すように、時刻t101において、前記個別領域B(211,487,599),B(212,488,598),B(213,489,600)・・・B(212,477,588)にポイントが１ずつ付与される。
　本実施形態においては、付与されるポイントを現在のモードによって変更している。例えば、ステップ図１５ステップS３にて、現在のモードが視点移動中の場合は、ポイントを「＋２」とする（ステップS１３）。また、オブジェクトの回転中であればポイントを「＋３」とする（ステップS１５）。
　これらの処理は、ユーザが現在の表示領域について強く注目している状態と推測されるからである。
　また、停止中の場合は停止のさせ方によってポイントを切り替えている。すなわち、画面タッチによる停止でない場合にはポイントを「０」とし（ステップS１９）、画面タッチによる停止である場合にはポイントを「＋１」とする（ステップS１８）。画面タッチによる停止か否かでポイントを変えたのは、画面タッチによる停止させた場合には、ユーザは画面上の表示領域に注目していると推測されるからである。これに対して、画面タッチによる停止でない場合、すなわち停止ボタン（図示せず）による停止は、席を外すなどの表示領域には注目していない状態と推測されるからである。
（４．５　履歴データ送信処理）
　図１８を用いて、かかる注目領域の履歴データを立体広告枠決定コンピュータ５２に送信する処理について説明する。
　ユーザ端末のＣＰＵ１２３は、送信条件に合致するか否か判断しており(ステップＳ４０２)、送信条件に合致すると、立体広告枠決定コンピュータへ送信する(ステップＳ４０３)。本実施形態においては、送信条件として、記憶してからの経過時刻を採用し、ＣＰＵ１２３が所定時刻経過した場合にユーザ端末から立体広告枠決定コンピュータへ送信するようにした。かかる送信条件としては、これらに限定されず、当該自由視点動画の視聴終了後や、特定の操作終了後などを採用してもよい。
　また、立体広告枠決定コンピュータから、送信すべき履歴がないかを問い合わせて、これをユーザ端末が判断するようにしてもよい。
　立体広告枠決定コンピュータのＣＰＵ２２３は、かかる履歴を受け取ったか否か判断しており(ステップＳ４０４)、受信するとこれを、ユーザ別の履歴データとして記憶する(ステップＳ４０５)。
　立体広告枠決定コンピュータのＣＰＵ２２３は、立体広告枠生成処理を行う(ステップS４０６）。
（４．５　立体広告枠決定処理）
　立体広告枠決定コンピュータ５２における立体広告枠決定処理について図１９を用いて説明する。
　ＣＰＵ２２３は、各ユーザの履歴データを読み出し(ステップS５０１）、経過時間毎に総計する(ステップS５０３）。
　ＣＰＵ２２３は、各経過時間におけるヒートマップを生成する。ヒートマップとは、図１６に示す各個別空間におけるポイントの総計の大小を色の濃淡で表現した可視化グラフである。図２０においては、グレースケールで表現しているが、実際は濃淡だけでなく、色も使い分けている（数値の高い個別空間は赤で、数値の低い個別空間は緑でなど）。
　かかるヒートマップは経過時間毎に生成される。図２０では、時刻tm～時刻tn～時刻tpにおいて注目されている個別領域の群分布が、経過時間によって変わっているのがわかる。
　ＣＰＵ２２３は、立体広告枠を決定する（図１９ステップS５０７）。本実施形態においては、群として構成される個別領域の数が総数閾値を超え、かつその総ポイント数が総計ポイント閾値を超えるものを立体広告枠として決定した。
　ＣＰＵ２２３は、配信コンピュータ５１にかかるコンテンツ別の立体広告枠を各コンテンツとともに配信するよう要請する（ステップS５０９）。
　これにより、配信コンピュータ５１は次回以降、立体広告枠が設定されたコンテンツ（自由視点動画）について、配信要求があると立体広告枠の配信をする。
　本実施形態においては、ヒートマップを生成することにより、群分布をもとめるようにしたが、ステップS５０３の総計から、連結されている個別領域を決定するようにしてもよい。
　本実施形態においては、ステップS５０７の処理として、群として構成される個別領域の数が総数閾値を超え、かつその総ポイント数が総計ポイント閾値を超えるものを立体広告枠として決定したが、いずれか一方だけでもよい。また、別の基準を採用してもよい。
　本実施形態においては、立体広告枠として決定するにあたって、複数のユーザの操作履歴が重なる領域を求めるようにした。すなわち複数のユーザの操作履歴についてAND演算を行うようにした。しかしこれに限定されず、各ユーザから操作履歴のOR演算をすることにより、各個別領域が１の領域として認識できる場合に、これを立体広告枠として決定するようにしてもよい。
　また、前記AND演算、前記OR演算によって得られた領域が多少離れている場合には、１つの領域にまとめるようにしてもよい。例えば、ある個別領域に隣接する8個の個別領域のいずれかが、１つの群として認識されている場合には、１つの領域としてまとめるようにすればよい。
　特にAND演算で得られた立体広告枠が多少離れている場合には、１つの領域にまとめるようにしてもよい。
　また、AND演算で得られた立体広告枠とOR演算で得られた立体広告枠とで立体広告枠としての属性を変更してもよい。例えば、前者は多くのユーザが注目している注目空間であるので、小さい領域であっても、特定のユーザ層に対しては広告効果が高い広告枠として枠を販売することもできる。また、逆に後者は特定のユーザ層に対しての広告効果としてはそれほど高くないが、広いユーザ層が注目する広告枠として枠を販売することもできる。
　本実施形態においては、複数のユーザからの操作履歴にてヒートマップの生成を行うようにしたが、一人のユーザの操作履歴にてヒートマップを生成するようにしてもよい。
（４．６　広告処理）
　図１に示す広告管理コンピュータ５６P1は、決定された立体広告枠について、広告枠を管理する。具体的には従来の２次元のウェブサイトにおける広告枠と同様にして、広告を希望する広告依頼コンピュータに販売する。かかる広告枠の販売処理については従来のインターネット広告の場合と同じなので、説明は省略する。
　ユーザ端末における広告表示処理について図２１を用いて、説明する。ＣＰＵ２２３は、現在の視点を読み出す（ステップS６０１）。かかる視点に合致する立体広告枠があるか否か判断し（ステップS６０３）、合致する場合は、当該立体広告枠に広告を表示する（ステップS６０５）。
　このように、自由視点動画についてユーザが注目している空間についての共通領域を立体広告枠として設定することにより、効果的な広告枠を設定することができる。
　ステップS６０３における、視点に合致する立体広告枠があるか否かは、図１５ステップS２３と同様に、距離Lを決定して判断するようにすればよいがこれに限定されない。
　例えば、立体広告枠と合致するかにおいて、奥行き方向は合致の条件としないようにしてもよい。すなわち、視点Px、視点方向θ２、φ２で決定される直線が、立体広告枠を通過する場合には、奥行き方向に限らず、合致すると判断してもよい。
　なお、本実施形態においては、配信コンピュータ５１から個別配信する場合に、立体広告枠をコンテンツとともに、配信するようにしたが、かかる立体広告枠に広告を含めた自由視点動画を生成し、それを放送するようにしてもよい。この場合、従来のTV放送のように、各立体広告枠について、事前に広告枠を販売すればよい。
　本実施形態において開示した発明を、下記のシステムとして把握することもできる。
　配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って、特定視点からの動画データを表示手段に表示するとともに、前記表示された特定視点動画データについて、操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づいた特定視点動画データを前記表示手段に表示するユーザ端末、および立体広告枠決定コンピュータで構成される立体広告枠決定システムであって、
　A）前記ユーザ端末はさらに下記を備え、
　前記表示手段に表示される特定視点動画データに基づいて、この特定視点動画における注目空間を決定する注目空間決定手段、
　前記注目空間の変遷履歴を前記立体広告枠決定コンピュータに送信する送信手段、
　B）前記立体広告枠決定コンピュータは、
　前記コンテンツデータについて前記変遷履歴を受信するユーザ別履歴データ受信手段、
　前記ユーザ別履歴データから求めたコンテンツ別の立体広告枠を決定する立体広告枠決定手段、
　を備えたことを特徴とする立体広告枠決定システム。
　５.　第２実施形態
　上記実施形態においては、ユーザ端末にて自由視点動画を生成するようにしたが、配信装置に視点切り替えデータを与えて、配信装置にて自由視点動画を生成して、ユーザ端末に送信するようにしてもよい。この場合、自由視点動画配信システムは図２２に示すように、下記のような構成となる。
　配信コンピュータ、ユーザ端末、および立体広告枠決定コンピュータで構成される自由視点動画配信システムであって、
　Ａ）前記配信コンピュータは下記を備え、
　視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを記憶する記憶手段、
　ユーザ端末に前記コンテンツデータを配信する配信手段、
　Ｂ）前記ユーザ端末は下記を備え、
　前記コンテンツデータを受信する受信手段、
　前記生成された特定視点動画データを表示手段に表示させる表示制御手段、
　前記表示手段に表示された特定視点動画データについて、ユーザから視点および視点方向の切り替え指示が与えられると、この切り替え指示を前記配信コンピュータに与える画像変更手段、
　Ｃ）前記配信コンピュータは、前記切り替え指示が与えられると、前記コンテンツデータについて前記切り替え指示に基づいた特定視点からのコンテンツデータを生成する特定視点画像生成手段を有しており、
　前記配信手段は、前記ユーザ端末に前記生成したコンテンツデータを配信し、
　Ｄ）前記ユーザ端末はさらに、下記を有し、
　前記生成された特定視点動画データにおける注目空間を決定する注目空間決定手段、
　前記注目空間の変遷履歴データを前記立体広告枠決定コンピュータに送信する送信手段、
　Ｅ）前記立体広告枠決定コンピュータは、
　前記コンテンツデータについて前記注目空間の履歴を受信するユーザ別履歴データ受信手段、
　前記複数のユーザのユーザ別履歴データから立体広告枠を決定する立体広告枠決定手段、
　を特徴とする立体広告枠決定システム。
　すなわち、自由視点動画の変更処理は配信サーバ、ユーザ端末のいずれでおこなうようにしてもよい。
　６.　第３実施形態
　自由視点動画によっては、自由視点動画中に存在するオブジェクトの位置情報を記憶しているものもある。このような場合には、距離Ｌに幅を持たせて、その幅内にオブジェクトが存在するか否かを判断し、存在する場合にはポイントを高くするようにしてもよい。
　また、かかるオブジェクトの位置情報を記憶させる場合、オブジェクトの属性を立体広告枠決定コンピュータに与えることにより、立体広告枠に属するオブジェクトの属性に応じた広告が可能となる。例えば、ある立体広告枠がサッカーのキッカーを含んでおり、そのオブジェクト属性として「サッカーの靴」が設定されている場合、サッカーの靴に連動させたい広告依頼者に対して、かかる立体広告枠を提供することができる。
　７.　第４実施形態
　　上記実施形態においては、現在の視点における投影画面の中央を注目領域と推測して、前記立体広告枠を生成した。しかしこれに限定されず投影画面全体としてもよい。
　また、このように投影画面における一部を注目領域とする場合には、中央に位置する個別領域はポイントを高く、離れるに従って低くするように重み付けをしてもよい。XY方向はもちろん、z方向（奥行き方向）についても同様である。
本実施形態においては、ユーザの注目領域を投影画面のほぼ中央としたが、アイトラッキング部をユーザ端末に設け、検出結果からユーザの注目領域をより確実に取得することもできる。この場合も、XY方向は判明するが、奥行き方向は不明であるので、上記実施形態と同様に判断すればよい。
　かかるアイトラッキング部の構成については、従来周知のものを採用すればよい。
　８.　第5実施形態
　上記実施形態においては、ユーザ端末にて注目領域を決定する場合について説明したが、ユーザ端末にて、視点条件の変更履歴を抽出して立体広告枠決定コンピュータに送信し、立体広告枠決定コンピュータにて注目領域を決定するようにしてもよい。かかる変更履歴の時系列データとしては例えば、図８のような切り替えタイミングにおけるデータでもよいし、時刻毎の視点条件であってもよい。
　この場合、下記のような発明として把握される。
　配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って、特定視点からの動画データを表示手段に表示するとともに、前記表示された特定視点動画データについて、操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づいた特定視点動画データを前記表示手段に表示するユーザ端末、および立体広告枠決定コンピュータで構成される立体広告枠決定システムであって、
　A）前記ユーザ端末はさらに下記を備え、
　前記表示手段に表示される特定視点動画データに基づいて、前記特定視点動画における注目空間を決定するための注目空間決定基礎データを生成する注目空間基礎データ生成手段、
　前記注目空間基礎データの変遷履歴を前記立体広告枠決定コンピュータに送信する送信手段、
　B）前記立体広告枠決定コンピュータは、
　前記コンテンツデータについて前記変遷履歴を受信するユーザ別履歴データ受信手段、
　前記ユーザ別履歴データから求めたコンテンツ別の立体広告枠を決定する立体広告枠決定手段、
　を備えたことを特徴とする立体広告枠決定システム。
　また、上記実施形態においては、注目領域を決定する距離Lをコンテンツによって固定としたが、複数ユーザの履歴データとしてズーム率を含めて立体広告枠決定コンピュータに送信しておき、これを参照して、立体広告枠決定コンピュータにて動的に変更できるようにしてもよい。例えば、あるサッカー試合のコンテンツにおいて、時刻tqにおいて、各ユーザからは距離L1で決定した注目領域が送信されていたとして、そのときのズーム率が拡大されていた場合、距離L1を小さくして、注目領域を再計算するようにしてもよい。これにより、複数のユーザからの操作履歴を考慮した注目領域を決定することができる。
　また、上記各実施形態においては、距離 Lについて、ユーザ端末にてコンテンツ毎に決定している。これは、注目領域の奥行き方向は、何らかの手法で距離Lを決定しなければならないからである。しかし、立体広告枠決定コンピュータに、各ユーザ端末から視点条件の時系列変化を送信させ、複数のユーザの視点条件から、立体広告枠決定コンピュータが奥行きを決定してもよい。具体的には、特定のコンテンツについて、各時刻における各ユーザからの視点条件の履歴を立体広告枠決定コンピュータに与える。立体広告枠決定コンピュータは、図２３に示すように、ユーザＵｍとユーザＵｎの同じ再生時刻における異なる視線方向ＳｍとＳｎがあれば、これらの異なる視線方向が重複する位置Pnまでの距離を奥行き方向の距離Lm、Lnとすればよい。当然、コンテンツ内で時刻によって距離Ｌも変更されることとなる。これにより、注目領域についての奥行き方向の決定がより、確実となる。なお、図２３においては、同じコンテンツでもユーザによってズーム率が異なる場合もあるので、距離Lm、Lnと複数の距離が設定できるようにしているが、これはコンテンツ毎に共通であってもよい。。
　このように注目領域の決定は、ユーザ端末だけでなく、その一部を立体広告枠決定コンピュータでおこなうようにしてもよい。
　なお、自由視点動画の変更処理、および注目領域の決定処理について、任意のコンピュータで行うことができる。
　９.　第６実施形態
　本実施形態においては、立体広告枠に現在の視点条件が合致すれば、設定した広告枠を表示するようにした。具体的には、立体広告枠内に視点条件が合致すれば、いずれの方向からの視点条件でも表示がなされる。すなわち、視点方向に関係なく、二次元の広告枠を表示させるというやり方である。しかし、かかる広告表示のさせ方としては、下記のような表示も可能である。
　一つが、現実の世界と同じく、前記広告枠に対してある方向に広告を表示し、現在の視点条件からの画像に変換して表示するというものである。この場合、2次元の広告でも変わった表示が可能である。また、広告を3次元化（立体化）することにより、視点方向によって異なる広告も可能となる。
　また、立体広告枠をさらに視線方向によって分割して、広告枠として設定してもよい。例えば、１の立体広告枠をXY方向における0-180度と、180-360度と2つに分けて、それぞれについて広告枠として設定してもよい。かかる分割数はXYZ方向において、任意の分割数に分けることが可能である。
　また、上記実施形態においては、立体広告枠に2次元の広告枠を設定する場合について説明したが、立体広告枠に３次元形状の広告枠を設定するようにしてもよい。
　１０.　その他の実施形態
　本実施形態においては、自由視点動画の視点条件を自由に切り替えられる場合について説明したが、当初は視点条件の切り替えができず、表示された広告をクリックすると、視点切り替えができるというように、視点切り替え機能について制約を設けてもよい。このように、広告を見れば視点切り替えができることにより、広告のクリック率をより高くすることができる。具体的には、例えば、ユーザ端末の操作処理プログラム１２６pが、広告をクリックすると視点条件の切り替えができる切り替え許可フラグがたっているの否かを判断する処理を実行するようにすればよい。なお、切り替え許可フラグは広告をクリックするとオンとするようにすればよい。
　本実施形態においては、距離L1については各コンテツの属性に応じて所定の値を決めておくようにしたが、コンテンツに距離L1をパラメータとして記憶させて配信するようにしてもよい。
　本実施形態では、ズーム処理された場合には、注目領域であるとしてポイントを高くしたが、かかる特別処理は必須ではない。
　また、本実施形態においては、視点座標および視点方向θ、φを記憶するようにしたが、かかるデータとしては、要はどこからどの方向の投影画像かを特定できればよく、直接または間接に特定できる形式であればどのような形式であってもよい。
　また、本実施形態においては、１つの推奨視点を供給するようにしたが、１の自由視点動画について、複数の視点からの動画を画面上に表示して、ユーザ端末にてユーザが構成する個別動画の組み合わせを変えられるようにしてもよい。かかる履歴を記憶することにより、自由視点動画の構成をも切り換えることができる。
　上記実施形態においては、ユーザ端末の処理は、ブラウザプログラムで実行させたが、専用ハードウェアまたはソフトウェアを搭載させることも可能である。
　また、ユーザ端末はパソコンではなく、携帯端末などであってもよい。
　上記実施形態においては、図２に示す機能を実現するために、ＣＰＵを用い、ソフトウェアによってこれを実現している。しかし、その一部若しくはすべてを、ロジック回路等のハードウェアによって実現してもよい。
　なお、上記プログラムの一部の処理をオペレーティングシステム（ＯＳ）にさせるようにしてもよい。
　なお、本実施形態においては、自由視点画像についてイメージ・ベースド・レンダリングを採用した場合について説明したが、これ以外のデータ構成で、自由視点画像を生成する技術についても同様に適用することができる。例えば、特開2014-056466号公報（US2014071131(A1))に開示されている技術などを採用してもよい。
　また、自由視点画像の視点については任意である。例えばサッカーの試合の場合、ピッチの外側からの視点だけでなく、選手や審判からの視点で表示させることも可能である。かかる視点からの動画については、例えば、選手や審判などにカメラをつけて撮像したものであってもよいし、また、外部から撮像した動画から生成するようにするなど、種々のやり方が可能である。
　また、本実施形態においては、自由視点動画を2次元平面に投影する場合について説明したが、自由視点動画を変更した視点条件にて三次元表示するシステムについても、同様に、広告枠をどのように設定すれば効果的な広告ができるのかという問題が生ずる。本件発明は、かかる三次元動画データについても同様に適用することができる。例えば、三次元スモークスクリーンのホログラフィ映像について、視点条件を切り替えた場合に、三次元スモークスクリーン上に、同様にして立体広告枠を設定することができる。この場合も距離Lについては、上記実施形態と同じように決定すればよい。
　本実施形態においては、図１１に示すようなアイコンで、自由視点の視点条件を変更できるようにしたが、このようなアイコン表示ではなく、マウスポインタ自体が操作アイコンとしてもよい。
　上記においては、本発明を好ましい実施形態として説明したが、各用語は、限定のために用いたのではなく、説明のために用いたものであって、本発明の範囲および精神を逸脱することなく、添付のクレームの範囲において、変更することができる。
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　

Claims (25)

  1. 　配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って、特定視点からの動画データを表示手段に表示するとともに、前記表示された特定視点動画データについて、操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づいた特定視点動画データを前記表示手段に表示するユーザ端末、および立体広告枠決定コンピュータで構成される立体広告枠決定システムであって、
    　A）前記ユーザ端末はさらに下記を備え、
    　前記表示手段に表示される特定視点動画データに基づいて、この特定視点動画における注目空間を決定する注目空間決定手段、
    　前記注目空間の変遷履歴を前記立体広告枠決定コンピュータに送信する送信手段、
    　B）前記立体広告枠決定コンピュータは、
    　前記コンテンツデータについて前記変遷履歴を受信するユーザ別履歴データ受信手段、
    　前記ユーザ別履歴データから求めたコンテンツ別の立体広告枠を決定する立体広告枠決定手段、
    　を備えたことを特徴とする立体広告枠決定システム。
  2. 　配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って、特定視点からの動画データを表示手段に表示するとともに、前記表示された特定視点動画データについて、操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づいた特定視点動画データを前記表示手段に表示するユーザ端末、および立体広告枠決定コンピュータで構成される立体広告枠決定システムであって、
    　A）前記ユーザ端末はさらに下記を備え、
    　前記表示手段に表示される特定視点動画データに基づいて、前記特定視点動画における注目空間を決定するための注目空間決定基礎データを生成する注目空間基礎データ生成手段、
    　前記注目空間基礎データの変遷履歴を前記立体広告枠決定コンピュータに送信する送信手段、
    　B）前記立体広告枠決定コンピュータは、
    　前記コンテンツデータについて前記変遷履歴を受信するユーザ別履歴データ受信手段、
    　前記ユーザ別履歴データから求めたコンテンツ別の立体広告枠を決定する立体広告枠決定手段、
    　を備えたことを特徴とする立体広告枠決定システム。
  3. 　請求項１または請求項２の立体広告枠決定システムにおいて、
    　前記立体広告枠決定手段は、前記複数のユーザ別の変遷履歴からコンテンツ別の立体広告枠を決定すること、
    　を特徴とする立体広告枠決定システム。
  4. 　請求項３の立体広告枠決定システムにおいて、
    　前記立体広告枠決定手段は、前記複数のユーザ別の変遷履歴における重複注目空間から前記立体広告枠を決定すること、
    　を特徴とする立体広告枠決定システム。
  5. 　請求項１～請求項４のいずれかの立体広告枠決定システムにおいて、
    　前記立体広告枠は、前記コンテンツデータを視聴したユーザの視点条件によって時系列に変動する立体広告枠であること、
    　を特徴とする立体広告枠決定システム。
  6. 　請求項１～５のいずれかの立体広告枠決定システムにおいて、
    　前記注目空間決定手段は、現在指定されている視点および視点方向からの表示領域であり、かつ、与えられた奥行特定データで決定される空間領域を前記注目空間として決定すること、
    　を特徴とする立体広告枠決定システム。
  7. 　請求項６のいずれかの立体広告枠決定システムにおいて、
    　前記奥行特定データは、前記コンテンツデータに付加されていること、
    　を特徴とする立体広告枠決定システム。
  8. 　請求項１～５のいずれかの立体広告枠決定システムにおいて、
    　前記奥行特定データが、前記コンテンツデータによって変動すること、
    　を特徴とする立体広告枠決定システム。
  9. 　請求項８の立体広告枠決定システムにおいて、
    　前記奥行特定データが、自由視点動画のズーム率に応じて変動すること、
    　を特徴とする立体広告枠決定システム。
  10. 　請求項１～９のいずれかの立体広告枠決定システムにおいて、
    　前記注目空間決定手段は、指定されている視点および視点方向からの表示領域であり、かつ、与えられた奥行特定データで決定される空間領域全体を前記注目空間として決定すること、
    　を特徴とする立体広告枠決定システム。
  11. 　請求項１～９のいずれかの立体広告枠決定システムにおいて、
    　前記注目空間決定手段は、指定されている視点および視点方向からの表示領域であり、かつ、与えられた奥行特定データで決定される空間領域の一部を前記注目空間として決定すること、
    　を特徴とする立体広告枠決定システム。
  12. 　請求項１１の立体広告枠決定システムにおいて、
    　前記注目空間決定手段は、指定されている視点および視点方向からの表示領域であり、かつ、与えられた奥行特定データで決定される空間のほぼ中央領域を前記注目空間として決定すること、
    　を特徴とする立体広告枠決定システム。
  13. 　請求項１１の立体広告枠決定システムにおいて、
    　前記注目空間決定手段は、指定されている視点および視点方向からの表示領域であり、かつ、与えられた奥行特定データで決定される空間における移動オブジェクトが存在する領域であること、
    　を特徴とする立体広告枠決定システム。
  14. 　請求項１１～１３のいずれかの立体広告枠決定システムにおいて、
    　前記注目空間決定手段は、前記検出された領域について、周辺にいくほど重み付けを小さくすること、
    　を特徴とする立体広告枠決定システム。
  15. 　請求項１４の立体広告枠決定システムにおいて、
    　前記注目空間決定手段は、前記検出された領域について、ＸＹ方向に離れるほど重み付けを小さくすること、
    　を特徴とする立体広告枠決定システム。
  16. 　請求項１４の立体広告枠決定システムにおいて、
    　前記注目空間決定手段は、前記検出された領域について、奥行き方向に離れるほど重み付けを小さくすること、
    　を特徴とする立体広告枠決定システム。
  17. 　請求項１の立体広告枠決定システムにおいて、
    　前記注目空間決定手段は、現在のユーザが注目している空間を検出する注目空間検出手段を有しており、かかる注目空間検出手段により検出された領域を前記注目空間として決定すること、
    　を特徴とする立体広告枠決定システム。
  18. 　下記ユーザ端末と接続される立体広告枠決定コンピュータであって、
    　視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って、特定視点からの動画データを表示手段に表示するとともに、前記表示された特定視点動画データについて操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づいた特定視点動画データを表示するユーザ端末、
    　前記表示手段に表示された各特定視点動画データの注目空間の変遷履歴を、ユーザ別履歴データとして受信するユーザ別履歴データ受信手段、
    　前記ユーザ別履歴データを前記コンテンツ別に記憶するユーザ別履歴データ記憶手段、
    　前記ユーザ別履歴データから前記コンテンツの立体広告枠を決定する立体広告枠決定手段、
    　を備えたことを特徴とする立体広告枠決定コンピュータ。
  19. 　下記ユーザ端末と接続される立体広告枠決定コンピュータであって、
    　視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って、特定視点からの動画データを表示手段に表示するとともに、前記表示された特定視点動画データについて、操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づいた特定視点動画データを表示するユーザ端末、
    　前記ユーザ端末に表示される特定視点動画データにおける注目空間を決定するための注目空間決定基礎データの変遷履歴を受信するユーザ別履歴データ受信手段、
    　前記注目空間決定基礎データの変遷履歴を記憶する記憶手段、
    　前記注目空間決定基礎データの変遷履歴から、ユーザ別の注目空間の履歴を決定する決定手段、
    　前記ユーザ別の注目空間の履歴に基づいて、コンテンツ別の立体広告枠を決定する立体広告枠決定手段、
    　を備えたことを特徴とする立体広告枠決定コンピュータ。
  20. 　配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って、特定視点からの動画データを表示手段に表示するとともに、前記表示された特定視点動画データについて、ユーザ端末の操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づいた特定視点動画データを前記表示手段に表示するユーザ端末であって、
    　前記表示手段に表示される特定視点動画データに基づいて、この特定視点動画における注目空間を決定する注目空間決定手段、
    　前記注目空間の変遷履歴を前記立体広告枠決定コンピュータに送信する送信手段、
    　を備えたことを特徴とするユーザ端末。
  21. 　配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを受け取って、特定視点からの動画データを表示手段に表示するとともに、前記表示された特定視点動画データについて、ユーザ端末の操作者から視点特性を変更する視点特性変更データが与えられると、この視点特性変更データに基づいた特定視点動画データを前記表示手段に表示するユーザ端末であって、
    　前記表示手段に表示される特定視点動画データにおける注目空間を決定するための注目空間決定基礎データを生成する注目空間基礎データ生成手段、
    　前記注目空間基礎データの変遷履歴を前記立体広告枠決定コンピュータに送信する送信手段、
    　を備えたことを特徴とするユーザ端末。
  22. 　配信コンピュータ、ユーザ端末および立体広告枠決定コンピュータを接続し、
    　前記配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを前記ユーザ端末が受け取って、特定視点からの動画データを前記ユーザ端末に表示するとともに、前記表示された特定視点動画データについて、操作者から視点特性を変更する視点特性変更データが与えられると、前記ユーザ端末は、この視点特性変更データに基づいた特定視点動画データを表示する立体広告枠決定方法であって、
    　A）前記ユーザ端末は下記ステップを備え、
    　前記表示される特定視点動画データに基づいて、この特定視点動画における注目空間を決定するステップ、
    　前記注目空間の変遷履歴を前記立体広告枠決定コンピュータに送信するステップ、
    　B）前記立体広告枠決定コンピュータは、
    　前記コンテンツデータについて前記変遷履歴を受信すると、前記ユーザ別履歴データから求めたコンテンツ別の立体広告枠を決定すること、
    　を備えたことを特徴とする立体広告枠決定方法。
  23. 　配信コンピュータ、ユーザ端末および立体広告枠決定コンピュータを接続し、
    　前記配信コンピュータから視聴する視点を変更可能な自由視点動画で構成されたコンテンツデータを前記ユーザ端末が受け取って、特定視点からの動画データを前記ユーザ端末に表示するとともに、前記表示された特定視点動画データについて、操作者から視点特性を変更する視点特性変更データが与えられると、前記ユーザ端末は、この視点特性変更データに基づいた特定視点動画データを表示する立体広告枠決定方法であって、
    　A）前記ユーザ端末は下記ステップを備え、
    　前記表示手段に表示される特定視点動画データに基づいて、前記特定視点動画における注目空間を決定するための注目空間決定基礎データを生成するステップ、
    　前記注目空間基礎データの変遷履歴を前記立体広告枠決定コンピュータに送信するステップ、
    　B）前記立体広告枠決定コンピュータは、
    　前記コンテンツデータについて前記変遷履歴を受信すると、この変遷履歴から求めたコンテンツ別の立体広告枠を決定すること、
    　を特徴とする立体広告枠決定方法。
  24. 　ユーザ端末より受信したコンテンツ別の注目空間の変遷履歴データであって、
    　コンテンツ別に、ユーザ端末に表示された自由視点動画についての各再生時刻におけるユーザの注目空間領域を特定する領域特定情報が時系列に構成されたデータ。
  25. 　ユーザ端末の表示手段に表示される特定視点動画データに基づいて決定された前記特定視点動画における注目空間を決定するための注目空間決定基礎データであって、
    　コンテンツ別に、ユーザ端末に表示された自由視点動画についての各再生時刻におけるユーザの注目空間領域を特定するための注目空間決定基礎データが時系列に構成されたデータ。
PCT/JP2016/058912 2015-06-02 2016-03-22 立体広告枠決定システム、ユーザ端末および立体広告枠決定コンピュータ WO2016194441A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16802880.1A EP3306571A4 (en) 2015-06-02 2016-03-22 THREE-DIMENSIONAL ADVERTISING SYSTEM, USER DEVICE AND DEFINITION OF THREE-DIMENSIONAL ADVERTISING SURFACES
JP2017514946A JP6277329B2 (ja) 2015-06-02 2016-03-22 立体広告枠決定システム、ユーザ端末および立体広告枠決定コンピュータ
US15/821,335 US10873768B2 (en) 2015-06-02 2017-11-22 Three-dimensional advertising space determination system, user terminal, and three-dimensional advertising space determination computer

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015112367 2015-06-02
JP2015-112367 2015-06-02

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/821,335 Continuation-In-Part US10873768B2 (en) 2015-06-02 2017-11-22 Three-dimensional advertising space determination system, user terminal, and three-dimensional advertising space determination computer

Publications (1)

Publication Number Publication Date
WO2016194441A1 true WO2016194441A1 (ja) 2016-12-08

Family

ID=57442364

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/058912 WO2016194441A1 (ja) 2015-06-02 2016-03-22 立体広告枠決定システム、ユーザ端末および立体広告枠決定コンピュータ

Country Status (4)

Country Link
US (1) US10873768B2 (ja)
EP (1) EP3306571A4 (ja)
JP (1) JP6277329B2 (ja)
WO (1) WO2016194441A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6362757B1 (ja) * 2017-11-20 2018-07-25 ヤフー株式会社 情報表示プログラム、情報表示方法、情報表示装置、及び配信装置
WO2018230105A1 (ja) * 2017-06-14 2018-12-20 株式会社アルファコード 広告情報処理システム、広告表示領域評価方法および広告情報処理用プログラム
JP2019197340A (ja) * 2018-05-09 2019-11-14 キヤノン株式会社 情報処理装置、情報処理方法、及び、プログラム
WO2022209361A1 (ja) 2021-03-31 2022-10-06 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
JP7209985B1 (ja) * 2022-09-20 2023-01-23 株式会社日本学術サポート 多次元データを表示するためのコンピュータシステム及びコンピュータ実装方法
US11563928B2 (en) 2019-11-05 2023-01-24 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10419738B1 (en) 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
US10841662B2 (en) * 2018-07-27 2020-11-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for inserting advertisement content in 360° immersive video
US10757389B2 (en) 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003132362A (ja) * 2001-10-22 2003-05-09 Sony Corp 情報通信システム、および情報通信方法、並びにコンピュータ・プログラム
JP2014041259A (ja) * 2012-08-22 2014-03-06 Yahoo Japan Corp 広告配信装置、広告配信方法および広告配信プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8458028B2 (en) * 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
US20050021472A1 (en) * 2003-07-25 2005-01-27 David Gettman Transactions in virtual property
JP6021541B2 (ja) 2012-09-13 2016-11-09 キヤノン株式会社 画像処理装置及び方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003132362A (ja) * 2001-10-22 2003-05-09 Sony Corp 情報通信システム、および情報通信方法、並びにコンピュータ・プログラム
JP2014041259A (ja) * 2012-08-22 2014-03-06 Yahoo Japan Corp 広告配信装置、広告配信方法および広告配信プログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018230105A1 (ja) * 2017-06-14 2018-12-20 株式会社アルファコード 広告情報処理システム、広告表示領域評価方法および広告情報処理用プログラム
JP2019003367A (ja) * 2017-06-14 2019-01-10 株式会社アルファコード 広告情報処理システム、広告表示領域評価方法および広告情報処理用プログラム
CN110709879A (zh) * 2017-06-14 2020-01-17 株式会社阿尔法代码 广告信息处理系统、广告显示区域评价方法以及广告信息处理用程序
JP6362757B1 (ja) * 2017-11-20 2018-07-25 ヤフー株式会社 情報表示プログラム、情報表示方法、情報表示装置、及び配信装置
JP2019095909A (ja) * 2017-11-20 2019-06-20 ヤフー株式会社 情報表示プログラム、情報表示方法、情報表示装置、及び配信装置
JP2019197340A (ja) * 2018-05-09 2019-11-14 キヤノン株式会社 情報処理装置、情報処理方法、及び、プログラム
JP7422468B2 (ja) 2018-05-09 2024-01-26 キヤノン株式会社 情報処理装置、情報処理方法、及び、プログラム
US11563928B2 (en) 2019-11-05 2023-01-24 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
WO2022209361A1 (ja) 2021-03-31 2022-10-06 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
JP7209985B1 (ja) * 2022-09-20 2023-01-23 株式会社日本学術サポート 多次元データを表示するためのコンピュータシステム及びコンピュータ実装方法

Also Published As

Publication number Publication date
JPWO2016194441A1 (ja) 2017-08-31
US20180084287A1 (en) 2018-03-22
EP3306571A4 (en) 2019-01-16
US10873768B2 (en) 2020-12-22
EP3306571A1 (en) 2018-04-11
JP6277329B2 (ja) 2018-02-07

Similar Documents

Publication Publication Date Title
JP6277329B2 (ja) 立体広告枠決定システム、ユーザ端末および立体広告枠決定コンピュータ
JP6236573B2 (ja) 自由視点映像データ配信システム
TWI571130B (zh) 體積式視訊呈現
US20200021795A1 (en) Method and client for playing back panoramic video
JP6566698B2 (ja) 表示制御装置および表示制御方法
JP5732129B2 (ja) 拡大表示ナビゲーション
EP3913924B1 (en) 360-degree panoramic video playing method, apparatus, and system
US11825177B2 (en) Methods, systems, and media for presenting interactive elements within video content
JP7392105B2 (ja) 没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体
EP2874405B1 (en) A client device, system and software for providing a defined view of an image on a client device
EP3386204A1 (en) Device and method for managing remotely displayed contents by augmented reality
KR20230152589A (ko) 화상 처리 시스템, 화상 처리방법, 및 기억매체
JP5861684B2 (ja) 情報処理装置、及びプログラム
KR20200005593A (ko) 미디어 컨텐츠 미리보기들을 제시하기 위한 방법들, 시스템들 및 매체들
JP6623905B2 (ja) サーバ装置、情報処理方法およびプログラム
US20240007713A1 (en) Provision of media content
JP5854018B2 (ja) 通信システム、情報処理装置、及びプログラム
KR20230075365A (ko) 웹 브라우저를 이용한 복수 3차원 컨텐츠 제공 시스템 및 방법
CN116366901A (zh) 一种增强现实播放位置的切换方法、装置及可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16802880

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017514946

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016802880

Country of ref document: EP